一句话导读
端到端序列学习,机器翻译的里程碑
论文信息
| 英文原名 | Sequence to Sequence Learning with Neural Networks |
| 中文常用名 | 序列到序列模型(Seq2Seq) |
| 作者 | Sutskever, Vinyals, Le |
| 发表年份 | 2014 |
| 出处 / 获取 | arXiv:1409.3215 |
| 所属专题 | NLP 与 Transformer |
本文为 AI泡泡堂 经典 AI 文献栏目收录,信息经公开渠道核验。若需引用请以原论文为准。
详细解读(中文)
一、论文背景:传统统计机器翻译依赖人工设计的对齐、短语表与解码器,pipeline 复杂且泛化差。能否用神经网络端到端地学习”任意序列→任意序列”的映射?
二、核心创新:Seq2Seq(2014,Google)提出”编码器-解码器”架构:编码器 LSTM 把输入序列编码成固定长度向量(最后一个隐藏状态),解码器 LSTM 以该向量为条件逐词生成输出序列。模型直接在(英, 法)平行语料上端到端训练,无需任何人工特征,刷新 WMT 英法翻译 BLEU 纪录。
三、关键技术细节:① 输入序列逆序(reversed order)输入,显著降低编码器对远距离依赖的负担、提升 BLEU;② 训练时解码器使用真实词(Teacher Forcing),测试时用模型自生成词(Beam Search 束搜索)逐句解码;③ 4 层 LSTM(每层 1000 单元),批量大小 128,用 SGD+Adam 训练;④ 论文展示了模型自动学到”句末标记、大小写、词序”等语言学规律,证明神经端到端学习的强大。
影响与后续发展
Seq2Seq 奠定了神经机器翻译与所有”序列转换”任务(翻译、摘要、对话、语音识别)的基本范式;其编码器-解码器框架被 Bahdanau 注意力、Transformer 继承演进,是 NLP 从统计方法转向深度学习的标志性一步。
查看原始论文(权威链接)
英文原文摘要(Original Abstract,节选)
Sequence to Sequence Learning: We present a general end-to-end approach to sequence learning that maps an input sequence to an output sequence, using a multi-layered LSTM to encode the input and another to decode it. Our method achieves state-of-the-art results on English-to-French translation, and it is one of the foundational architectures for modern neural machine translation and sequence transduction.
提示:以上英文摘要为原文节选,完整论文请通过上方权威链接查看(原始论文版权归原作者/出版方所有)。