一句话导读
算力预算下”数据该喂多少”的经典答案
论文信息
| 英文原名 | Training Compute-Optimal Large Language Models |
| 中文常用名 | Chinchilla（计算最优模型） |
| 作者 | Hoffmann, Borgeaud, Mensch, et al. |
| 发表年份 | 2022 |
| 出处 / 获取 | arXiv:2203.15556 |
| 所属专题 | 大语言模型 |
本文为 AI泡泡堂 经典 AI 文献栏目收录，信息经公开渠道核验。若需引用请以原论文为准。
详细解读（中文）
一、论文背景：OpenAI 的缩放定律建议”模型越大越好”，但该结论基于固定数据量；训练大模型动辄数亿美元，若”数据与模型比例”失衡，将造成巨大浪费。能否找到”给定算力下的最优模型-数据配比”？
二、核心创新：DeepMind（2022）在 400 多个模型、不同规模数据上系统实验，得到关键结论：此前大模型普遍”欠训练”——计算最优方案应当是”更小的模型 + 更多的数据”。据此训练 70B 参数的 Chinchilla，用约 1.4 万亿 token（约为 Gopher 的 5 倍数据），以更少算力全面超越 Gopher 280B 与 GPT-3 175B。
三、关键技术细节：① 提出”计算最优训练”：给定算力 C，最优参数量 N ≈ 0.58·C^0.297，最优数据量 D ≈ 0.78·C^0.352；② 关键反直觉结论：许多”超大模型”应改用”中等模型+海量数据”；③ 70B Chinchilla 在语言建模、MMLU、阅读理解等大量基准上超越 Gopher 280B（参数少 4 倍）；④ 论文给出了可直接套用的”最优配比”公式，被后续所有大模型训练采用。
影响与后续发展
Chinchilla 重塑了大模型训练的经济学：LLaMA、Qwen、DeepSeek 等无不遵循”数据优先/最优计算配比”策略；”训练更小模型、喂更多数据”成为开源社区追赶闭源模型的关键战术。
查看原始论文（权威链接）
英文原文摘要（Original Abstract，节选）
Chinchilla: We investigate the optimal model size and number of tokens for training a transformer language model under a given compute budget. Contrary to common belief, we find that current large models are significantly under-trained: compute-optimal training should use models roughly 4 times smaller and 4 times more data. We train Chinchilla, a 70B parameter model, which outperforms much larger models such as Gopher 280B and GPT-3 175B.
提示：以上英文摘要为原文节选，完整论文请通过上方权威链接查看（原始论文版权归原作者/出版方所有）。