一句话导读
超大模型”给几个例子就能干活”，开启生成式AI时代
论文信息
| 英文原名 | Language Models are Few-Shot Learners |
| 中文常用名 | GPT-3 |
| 作者 | Brown, Mann, Ryder, et al. |
| 发表年份 | 2020 |
| 出处 / 获取 | arXiv:2005.14165 |
| 所属专题 | 大语言模型 |
本文为 AI泡泡堂 经典 AI 文献栏目收录，信息经公开渠道核验。若需引用请以原论文为准。
详细解读（中文）
一、论文背景：GPT-2 已证明语言模型可以零样本完成部分任务，但性能有限；与此同时，为每个任务收集标注数据并微调的成本越来越高。论文要回答一个根本问题：模型规模能否直接转化为通用能力，让模型”看完大量文本后，给几个示例就能学会新任务”。
二、核心创新：GPT-3 将 Transformer 语言模型规模推到前所未有的 1750 亿参数（96 层、多头 12288 维），在约 4500 亿 token 的互联网文本（Common Crawl、WebText、书籍、维基等，经去重与过滤）上训练。核心贡献是系统提出并验证”上下文学习（In-Context Learning）”三种范式：Zero-shot（不给示例直接问）、One-shot（给 1 个示例）、Few-shot（给几十个示例且不更新参数），模型通过提示词中的示例自动”学会”任务。
三、关键技术细节：① 沿用 GPT-2 的 Decoder-only 架构并放大，采用交替的密集与稀疏注意力层（局部稀疏注意力降低计算量）；② 训练使用大规模梯度裁剪、自适应学习率与模型并行；③ 采用与 GPT-2 相同的 BPE 分词（词表 50257）；④ 论文系统研究了”涌现能力”：当模型规模超过某个阈值后，许多任务（如三位数加减、新闻标题生成）性能突然跃升。在 SuperGLUE 等基准上，Few-shot GPT-3 已接近甚至超过有监督微调的最优模型。
影响与后续发展
GPT-3 是”大模型时代”的标志性起点：它证明了”规模即能力”（Scaling），并确立了”提示学习/上下文学习”这一新的使用范式，直接启发 InstructGPT/ChatGPT 的 RLHF 对齐路线，也推动了 Chinchilla 对训练计算最优的研究。其后的 GPT-3.5、GPT-4 均沿此路线演进，而开源社区（LLaMA 等）也以 GPT-3 为对标基准。
查看原始论文（权威链接）
英文原文摘要（Original Abstract，节选）
Recent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning for a specific task. While typically task-agnostic in architecture, this method still requires task-specific fine-tuning datasets of thousands or tens of thousands of examples. We show that scaling up language models greatly improves task-agnostic, few-shot performance. Our largest model, GPT-3, has 175 billion parameters and achieves strong performance on many NLP tasks with few-shot learning, without any gradient updates or fine-tuning.
提示：以上英文摘要为原文节选，完整论文请通过上方权威链接查看（原始论文版权归原作者/出版方所有）。