大语言模型综述(A Survey of Large Language Models)

一句话导读

系统盘点大模型技术与路线的权威综述

论文信息

英文原名 A Survey of Large Language Models
中文常用名 大语言模型综述
作者 Zhao, Zhou, Li, et al.
发表年份 2023
出处 / 获取 arXiv:2303.18223
所属专题 经典综述

本文为 AI泡泡堂 经典 AI 文献栏目收录,信息经公开渠道核验。若需引用请以原论文为准。

详细解读(中文)

一、论文背景:2023 年前后大语言模型(LLM)呈爆发式发展,但相关术语、架构、训练方法与评估体系庞杂分散,研究社区急需一份系统性的”地图”。

二、核心创新:这篇综述(《A Survey of Large Language Models》)对 LLM 进行全面梳理,提出了”预训练→适配(SFT/指令微调/对齐)→应用”的完整生命周期框架,并系统总结了主流模型(GPT、PaLM、LLaMA 等)、关键训练技术、评测基准与开放资源。

三、关键技术细节:① 梳理 LLM 的缩放定律、涌现能力与关键架构组件(Transformer、位置编码、MoE 等);② 介绍数据工程(语料构建、去重、质量过滤)与高效训练(并行、混合精度);③ 详解对齐技术:指令微调(SFT)、人类反馈强化学习(RLHF)、思维链(CoT)等;④ 汇总主要评测(MMLU、GSM8K、HumanEval 等)与代表性榜单;⑤ 讨论幻觉、安全、版权、环境影响等开放挑战。

影响与后续发展

该综述成为 LLM 研究的标准参考文档(引用量极高),为新手研究者提供了完整的知识框架,也促进了 LLM 术语与评估规范的统一,被广泛用作课程教材与团队入门材料。


查看原始论文(权威链接)

英文原文摘要(Original Abstract,节选)

A Survey of Large Language Models: Language is essentially a complex, intricate system of human expressions governed by grammatical rules. In this survey, we introduce the background and recent advances of large language models (LLMs), covering their architecture, pre-training, adaptation and alignment, and application. We also discuss key challenges and future directions, providing a comprehensive reference for researchers and practitioners.

提示:以上英文摘要为原文节选,完整论文请通过上方权威链接查看(原始论文版权归原作者/出版方所有)。

发表评论

您的邮箱地址不会被公开。必填项已用 * 标注

© 2026 AI泡泡堂 · 银川鲸鱼智家网络科技有限公司 · 宁ICP备2026003950号
回到顶部