从Transformer到GPT-4：2017年后LLM领域22篇里程碑论文全解析

Andrej Karpathy 提出“软件 3.0”理念，指出自然语言正成为新编程接口，AI 模型执行任务。自 2017 年 Transformer 架构诞生以来，LLM 领域快速发展，GPT、BERT 等模型持续突破。多篇关键论文推动技术演进，如 GPT-3 确立缩放定律、RLHF 实现人类偏好对齐、Chinchilla 提出计算最优法则、LLaMA 推动开源民主化等。这些成果不仅提升了模型性能和效率，还促进了多模态、长序列处理、小模型优化等方向的发展，重塑了 AI 研发范式，加速了生成式 AI 的落地应用。
来源：https://mp.weixin.qq.com/s/1lUSlc0tvEWLuOFOP0WkUA