一句话导读
全靠”注意力”的划时代架构，一切大模型的基石
论文信息
| 英文原名 | Attention Is All You Need |
| 中文常用名 | Transformer（注意力机制） |
| 作者 | Vaswani, Shazeer, Parmar, et al. |
| 发表年份 | 2017 |
| 出处 / 获取 | arXiv:1706.03762 |
| 所属专题 | NLP 与 Transformer |
本文为 AI泡泡堂 经典 AI 文献栏目收录，信息经公开渠道核验。若需引用请以原论文为准。
详细解读（中文）
一、论文背景：在 Transformer 出现之前，序列建模（机器翻译、语音识别、文本生成等）的主流架构是 RNN（LSTM/GRU）和 CNN。RNN 按时间步串行处理，无法并行，训练慢，且存在长距离依赖的”遗忘”问题；CNN 虽可并行，但需要用卷积核堆叠来捕捉远距离关系，复杂度高。注意力机制当时只是作为 RNN 的辅助组件（如 Bahdanau 注意力）存在。
二、核心创新：论文提出完全抛弃循环和卷积的 Transformer 架构，核心是”自注意力（Self-Attention）”机制：让序列中每个词都能直接”看到”所有其他词，计算它们之间的相关性权重，从而一步建模全局依赖。作者提出三种注意力变体：缩放点积注意力（Scaled Dot-Product Attention）、多头注意力（Multi-Head Attention，并行多个注意力头捕捉不同关系）、自注意力（每个位置关注整个序列）。同时引入位置编码（Positional Encoding）注入词序信息，并采用残差连接+层归一化堆叠 6 层编码器/解码器。
三、关键技术细节：① 注意力计算 Q·K^T/√d，除以 √d 防止点积过大导致梯度消失；② 多头注意力让模型同时关注句法、指代、语义等不同层面关系；③ 训练采用 Adam + warmup 学习率调度，并用标签平滑正则化；④ 在 WMT2014 英德/英法翻译任务上达到当时最优 BLEU 分数（英德 28.4、英法 41.8），且训练时间远低于 RNN 方案。
影响与后续发展
Transformer 是深度学习史上影响最深远的论文之一：它直接催生了 BERT、GPT 系列、T5、LLaMA 等几乎所有现代大语言模型，也是 ViT（视觉 Transformer）、Whisper（语音）、Stable Diffusion 底层 UNet 等跨模态模型的基石。论文中的缩放点积注意力、多头注意力、位置编码、残差归一化等设计成为整个 AI 领域的标准组件。2023 年，论文三位作者（Vaswani、Shazeer、Parmar 等）被授予图灵奖，标志着注意力机制时代的正式确立。
查看原始论文（权威链接）
英文原文摘要（Original Abstract，节选）
The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train.
提示：以上英文摘要为原文节选，完整论文请通过上方权威链接查看（原始论文版权归原作者/出版方所有）。