Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
作者:Noam Shazeer、Azalia Mirhoseini、Krzysztof Maziarz、Andy Davis、Quoc Le、Geoffrey Hinton、Jeff Dean(Google Brain,2017,ICLR 2017 / arXiv:1701.06538)
发布时间:2017 年 1 月(arXiv 预印本);2017 年 4 月 ICLR 会议发表
论文讲了什么
这篇论文提出稀疏门控混合专家层(Sparsely-Gated Mixture-of-Experts,MoE):在神经网络里插入一个包含上千个「专家」子网络的层,由门控网络按每个输入动态选择其中极少数几个来激活。这样模型的总参数量可以扩大上千倍,而每个样本实际消耗的计算量只增加很少——一句话概括就是「把模型做大,但不把它变慢」。
为什么经典
- 首次在大规模语言建模与机器翻译上证明「稀疏激活」可行且有效,突破了「参数量越大、计算越贵」的线性束缚;
- 提出了训练 MoE 必须解决的核心难题——负载均衡,并给出可用的损失函数设计;
- 奠定了今天几乎所有万亿参数大模型(DeepSeek-V4、Qwen、GLM、MiniMax 等)的架构基础。
一句话导读:今天所有 MoE 大模型的「祖师爷论文」——用门控网络稀疏激活专家,第一次让参数量与计算量解耦。
详细解读(中文)
一、论文背景:2016 年前后,学术界已经反复验证一个经验规律:模型容量(参数量)越大,语言建模与翻译的质量越好。但问题在于,传统稠密网络的训练与推理成本随参数量线性增长——想把模型扩大 1000 倍,就要付出 1000 倍算力,这在工程上不可承受。条件计算(conditional computation)提供了一条出路:让网络的不同部分只对不同的输入激活。但此前的工作要么只能带来 1%~2% 的微小加速,要么在 GPU 上难以实现。本文要回答的是:能否把条件计算做到足够大,让参数量带来实际的质量收益?
二、核心创新:作者提出把 MoE 层插进堆叠的 LSTM 层之间。MoE 层由 n 个「专家」组成(每个专家就是一个前馈神经网络),再加一个门控网络。对每个输入 token,门控网络输出 n 个权重,然后只保留权重最高的 k 个专家(实验中 k 取 2 或 4),用这些权重加权组合专家输出。这样:总参数量 = n × 单专家参数量(可以做到上千个专家、1370 亿参数),而每个 token 的计算量只相当于 k 个专家,与 n 无关。论文在 1B Word Benchmark 语言建模任务和英法、英德机器翻译任务上验证:在同等计算预算下,MoE 模型显著优于稠密模型,困惑度与 BLEU 都有明显提升。
三、技术细节:① 门控函数为 G(x) = Softmax(KeepTopK(H(x), k)),其中 H(x) = x·Wg + StandardNormal()·Softplus((x·Wnoise)²),即先加一个可学习的高斯噪声再取 top-k,噪声的作用是让训练早期的路由具备探索性,避免所有 token 一开始就挤向同一个专家。② 一个天然缺陷是「赢者通吃」:门控倾向于把大多数 token 派给少数专家,导致其余专家永远得不到训练。为此论文引入两个辅助损失:importance loss(约束一个 batch 内各专家被选中权重的分布尽量均匀)与 load loss(约束各专家实际分到的 token 数量)——这是后来所有 MoE 实现都要处理的「负载均衡」问题的源头。③ 工程实现上,论文还讨论了专家容量(capacity)设定、超出容量时 token 被丢弃、以及跨 GPU 的数据并行与模型并行混合调度,这些至今仍是 MoE 训练的核心工程议题。
四、影响与发展:这篇论文在当时的影响力有限——2017 年 GPU 集群规模还不足以支撑大规模 MoE 训练。但 2020 年之后,随着 GShard、Switch Transformer、GLaM 等工作把路由简化(从 top-k 退化为 top-1)并解决稳定性问题,MoE 迅速成为大模型的主流架构。今天读者看到的 DeepSeek-V4(1.6T 总参数、49B 激活)、Qwen3.8-Flash-Next(125B 总参数、每 token 仅激活 6B)、MiniMax M3.1(4280 亿参数 MoE)、腾讯混元 Hy4(770B 总参数、49B 激活)——所有这些「总参数远大于激活参数」的模型,都是这篇论文思路的直接后代。MoE 也带来新的挑战:专家负载不均导致部分 GPU 空转、跨卡通信开销、路由不稳定影响训练收敛,这些问题在后续八年里持续被改进。
查看原始论文(权威链接)
版权提示:上述链接指向论文的公开预印本与会议页面,版权归原作者及出版方所有。本站仅提供链接指引入口,不转载、不托管论文全文;如需引用或商用,请遵循原文的授权协议(arXiv 预印本通常为作者保留版权,具体许可以原文页面标注为准)。
原始出处
英文标题:Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
中文标题:稀疏门控专家网络(MoE):把模型做大而不变慢
作者:Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc Le, Geoffrey Hinton, Jeff Dean(共 7 位)
机构:Google Brain / Google Research
会议:ICLR 2017
年份:2017
arXiv 编号:arXiv:1701.06538
英文原文摘要节选
The capacity of a neural network to absorb information is limited by its number of parameters. Conditional computation, where parts of the network are active on a per-example basis, has been proposed in theory as a way of dramatically increasing model capacity without a proportional increase in computation. In practice, however, there are significant algorithmic and performance challenges. In this work, we address these challenges and finally realize the promise of conditional computation, achieving greater than 1000x improvements in model capacity with only minor losses in computational efficiency on modern GPU clusters. We introduce a Sparsely-Gated Mixture-of-Experts layer (MoE), consisting of up to thousands of feed-forward sub-networks. A trainable gating network determines a sparse combination of these experts to use for each example. We apply the MoE to the tasks of language modeling and machine translation, where model capacity is critical for absorbing the vast quantities of knowledge available in the training corpora. We present model architectures in which a MoE with up to 137 billion parameters is applied to a stacked LSTM, resulting in a 1000x increase in capacity with only a 5% increase in computation.