一句话导读
展示大模型”无师自通”多任务的惊人潜力
论文信息
| 英文原名 | Language Models are Unsupervised Multitask Learners |
| 中文常用名 | GPT-2 |
| 作者 | Radford, Wu, Child, et al. |
| 发表年份 | 2019 |
| 出处 / 获取 | OpenAI技术报告 |
| 所属专题 | 大语言模型 |
本文为 AI泡泡堂 经典 AI 文献栏目收录，信息经公开渠道核验。若需引用请以原论文为准。
详细解读（中文）
一、论文背景：2019 年之前的 NLP 大多采用”针对具体任务收集标注数据+有监督训练”的模式，模型泛化依赖任务专用数据。OpenAI 希望证明：一个纯粹在大规模无标注文本上训练的语言模型，能否不经过任何任务微调就自发学会多种语言任务。
二、核心创新：论文构建了 WebText 数据集（从 Reddit 高赞外链中抓取的约 800 万篇网页文本，45GB），并训练了一个 15 亿参数（GPT-2 1.5B 版本）的 Transformer 语言模型。核心发现是”零样本迁移（Zero-shot Transfer）”：模型在未见任务数据的情况下，仅靠语言建模目标就能完成阅读理解、翻译、摘要、问答等多种任务——例如在 CoQA 上达到 55 F1，在 LAMBADA 上达到 63% 的准确率（当时最优）。
三、关键技术细节：① 架构与 GPT-1 相同但更大更深，使用字节级 BPE 分词（词汇表 50257）；② 提出”任务条件（task conditioning）”——训练数据里自然包含类似”总结：””翻译：”等前缀，模型在生成时顺着这些模式即可切换任务；③ 研究了模型规模与性能的平滑关系，指出更大模型在零样本任务上普遍更好。论文还因讨论”假新闻滥用风险”而一度延迟发布最大模型，成为 AI 伦理讨论的标志性事件。
影响与后续发展
GPT-2 首次系统展示了语言模型作为”通用任务求解器”的潜力，证明了无监督预训练+零样本迁移的可行性，直接为 GPT-3 的上下文学习、乃至 ChatGPT 的对话能力铺平道路。它也是”AI 安全与滥用风险”进入公众视野的关键节点。
查看原始论文（权威链接）
英文原文摘要（Original Abstract，节选）
Natural language processing tasks, such as question answering, machine translation, reading comprehension, and summarization, are typically approached with supervised learning on task-specific datasets. We demonstrate that language models begin to learn these tasks without any explicit supervision when trained on a new dataset of millions of webpages called WebText. We show that a large transformer-based language model trained on WebText achieves strong results on many language tasks and can perform zero-shot transfer, without any fine-tuning.
提示：以上英文摘要为原文节选，完整论文请通过上方权威链接查看（原始论文版权归原作者/出版方所有）。