Mamba: Linear-Time Sequence Modeling with Selective State Spaces
作者：Albert Gu、Tri Dao（2023，NeurIPS 杰出论文 / arXiv:2312.00752）
论文讲了什么
论文提出 Mamba 架构：在状态空间模型（SSM）基础上引入选择性机制——根据输入内容动态决定“记住什么、忽略什么”，实现线性复杂度的长序列建模，挑战 Transformer 的平方复杂度瓶颈。
为什么经典
- 推理速度随序列长度线性增长，远快于 Transformer
- 长上下文处理（百万级 token）能力突出，硬件友好
- 催生了 Jamba、Zamba 等一批“混合 Mamba”架构，成为 Transformer 的最有力竞争者
一句话导读：挑战 Transformer 的“新王”架构——线性速度 + 选择性记忆，代表下一代序列模型方向。
详细解读（中文）
一、论文背景：Transformer 的自注意力是二次复杂度（O(n²)），处理百万级长序列时计算与内存开销巨大；线性注意力（如线性 Transformer、Performer）虽为线性复杂度，但在语言建模等任务上质量明显落后。能否”既要线性速度、又要 Transformer 级质量”？
二、核心创新：Mamba 提出选择性状态空间模型（Selective State Space Model, S6）：把输入作为连续信号，用状态空间模型（SSM）建模，并引入”输入依赖的选择机制”——根据当前输入动态决定”记住什么、忽略什么”（类似注意力/门控），从而既保持线性复杂度（状态维度固定、不随序列增长），又在选择性记忆上超越固定 SSM。
三、关键技术细节：① SSM 参数（A、B、C、Δ）随输入变化（选择性），实现内容感知；② 采用硬件感知的并行扫描算法（parallel scan）+ 分段重计算，解决线性递归的并行化难题；③ 架构去除注意力与 MLP 块，仅用 SSM 块+激活函数（SwiGLU），简洁高效；④ 在语言建模（Pile 上困惑度优于同规模 Transformer）、长上下文（百万 token 记忆检索）与硬件效率（推理吞吐显著提升）上全面领先；⑤ 2023 年 12 月发布，获 NeurIPS 杰出论文奖。
影响与后续发展
Mamba 是”后 Transformer”架构的最有力竞争者：催生了 Jamba、Zamba、混合 SSM-Transformer 等大量架构，其线性复杂度与长上下文能力被视为下一代大模型（超长文本、实时流式处理）的重要技术方向，也带动了状态空间模型研究的全面复兴。
查看原始论文（权威链接）
英文原文摘要（Original Abstract，节选）
Mamba: Linear-Time Sequence Modeling with Selective State Spaces: Foundation models, such as those based on Transformers, have been successful but are inefficient for long sequences due to quadratic-time attention. We propose Mamba, a selective state space model with an input-dependent selection mechanism, which achieves linear-time scaling while maintaining strong performance, matching or exceeding Transformer quality on language modeling and enabling efficient processing of very long sequences.
提示：以上英文摘要为原文节选，完整论文请通过上方权威链接查看（原始论文版权归原作者/出版方所有）。