一句话导读
系统盘点大模型技术与路线的权威综述
论文信息
| 英文原名 | A Survey of Large Language Models |
| 中文常用名 | 大语言模型综述 |
| 作者 | Zhao, Zhou, Li, et al. |
| 发表年份 | 2023 |
| 出处 / 获取 | arXiv:2303.18223 |
| 所属专题 | 经典综述 |
本文为 AI泡泡堂 经典 AI 文献栏目收录,信息经公开渠道核验。若需引用请以原论文为准。
详细解读(中文)
一、论文背景:2023 年前后大语言模型(LLM)呈爆发式发展,但相关术语、架构、训练方法与评估体系庞杂分散,研究社区急需一份系统性的”地图”。
二、核心创新:这篇综述(《A Survey of Large Language Models》)对 LLM 进行全面梳理,提出了”预训练→适配(SFT/指令微调/对齐)→应用”的完整生命周期框架,并系统总结了主流模型(GPT、PaLM、LLaMA 等)、关键训练技术、评测基准与开放资源。
三、关键技术细节:① 梳理 LLM 的缩放定律、涌现能力与关键架构组件(Transformer、位置编码、MoE 等);② 介绍数据工程(语料构建、去重、质量过滤)与高效训练(并行、混合精度);③ 详解对齐技术:指令微调(SFT)、人类反馈强化学习(RLHF)、思维链(CoT)等;④ 汇总主要评测(MMLU、GSM8K、HumanEval 等)与代表性榜单;⑤ 讨论幻觉、安全、版权、环境影响等开放挑战。
影响与后续发展
该综述成为 LLM 研究的标准参考文档(引用量极高),为新手研究者提供了完整的知识框架,也促进了 LLM 术语与评估规范的统一,被广泛用作课程教材与团队入门材料。
查看原始论文(权威链接)
英文原文摘要(Original Abstract,节选)
A Survey of Large Language Models: Language is essentially a complex, intricate system of human expressions governed by grammatical rules. In this survey, we introduce the background and recent advances of large language models (LLMs), covering their architecture, pre-training, adaptation and alignment, and application. We also discuss key challenges and future directions, providing a comprehensive reference for researchers and practitioners.
提示:以上英文摘要为原文节选,完整论文请通过上方权威链接查看(原始论文版权归原作者/出版方所有)。