一句话导读
“模型越大越好”的经验定律，指导堆算力
论文信息
| 英文原名 | Scaling Laws for Neural Language Models |
| 中文常用名 | 大模型缩放定律 |
| 作者 | Kaplan, McCandlish, Henighan, et al. |
| 发表年份 | 2020 |
| 出处 / 获取 | arXiv:2001.08361 |
| 所属专题 | 大语言模型 |
本文为 AI泡泡堂 经典 AI 文献栏目收录，信息经公开渠道核验。若需引用请以原论文为准。
详细解读（中文）
一、论文背景：GPT-2、GPT-3 等模型规模不断增大，但”该训练多大模型、多少数据、多少算力”缺乏理论指导。能否用经验定律定量刻画”规模与性能”的关系，指导资源分配？
二、核心创新：论文（OpenAI 2020）在 GPT 系列与大量自研模型上系统测量，发现语言模型交叉熵损失与三个量呈平滑幂律关系：模型参数量 N、数据集规模 D、计算量 C。核心定律：损失 ≈ a·N^(-α) + b·D^(-β) + c·C^(-γ)，并给出 L(N) 的精确拟合。结论：性能主要受”最小瓶颈”限制，应均衡扩大三者而非单点加码。
三、关键技术细节：① 用 70 亿参数的 Transformer 在 22 亿 token 上做可控实验，排除噪声；② 发现”计算量翻倍→损失提升”存在规律递减（收益递减），从而可预测”再多算力能换来多少性能”；③ 提出”最优分配”：给定算力预算，模型大小与数据量存在最佳配比；④ 定律对超大规模（GPT-3 175B）仍成立，成为大模型设计的”导航仪”。
影响与后续发展
缩放定律（Scaling Laws）是大模型时代的”理论基石”：它指导了 GPT-3 规模的选择、被 Chinchilla 进一步修正（数据优先）、并启发了 DeepSeek 等对训练效率的极致优化；”规模-性能”的量化思维也延伸到多模态与推理模型。
查看原始论文（权威链接）
英文原文摘要（Original Abstract，节选）
Scaling Laws for Neural Language Models: We study empirical scaling laws for language model performance on the cross-entropy loss. We find that performance depends strongly on scale, weakly on model shape, and that the loss scales as a power-law with model size, dataset size, and the amount of compute used for training. These laws guide the efficient allocation of resources when training large language models.
提示：以上英文摘要为原文节选，完整论文请通过上方权威链接查看（原始论文版权归原作者/出版方所有）。