长短期记忆网络(LSTM)(Long Short-Term Memory)

一句话导读

能”记长久”的循环网络,早期AI语音/翻译核心

论文信息

英文原名 Long Short-Term Memory
中文常用名 长短期记忆网络(LSTM)
作者 Hochreiter, Schmidhuber
发表年份 1997
出处 / 获取 Neural Computation
所属专题 NLP 与 Transformer

本文为 AI泡泡堂 经典 AI 文献栏目收录,信息经公开渠道核验。若需引用请以原论文为准。

详细解读(中文)

一、论文背景:传统 RNN(如简单 Elman 网络)在训练时存在严重的梯度消失/梯度爆炸问题,无法学习超过 10 步左右的长期依赖。如何让网络”记住”很久以前的信息(如语言中的远距离指代、长句语义),是 1990 年代序列建模的核心难题。

二、核心创新:论文提出长短期记忆网络(LSTM):引入”细胞状态(Cell State)”作为贯穿时间步的信息高速公路,并通过三个门控——输入门(决定写入多少新信息)、遗忘门(决定丢弃多少旧信息)、输出门(决定输出多少信息)——精细控制信息的流入、留存与流出,使梯度可以在长距离上稳定流动。

三、关键技术细节:① 细胞状态 C_t 以线性方式更新(C_t = f_t·C_{t-1} + i_t·C̃_t),避免激活函数的反复非线性压缩导致梯度消失;② 训练使用截断 BPTT(时间反向传播)+ 梯度裁剪处理梯度爆炸;③ 原文实验证明 LSTM 能学会 1000 步以上的延迟任务(如长序列中的特定信号检测),远超普通 RNN;④ 1997 年发表于《Neural Computation》,是循环神经网络领域引用量最高的论文之一。

影响与后续发展

LSTM 统治序列建模近二十年:从语音识别、机器翻译到 2014 年 Google 的神经翻译系统,再到 Seq2Seq 与注意力机制的融合。其门控思想后来被 GRU 简化,也启发了 Transformer 中残差连接与门控的设计思路,至今仍在部分时序任务中发挥作用。


查看原始论文(权威链接)

英文原文摘要(Original Abstract,节选)

Learning to store information over long time intervals and to use it to bridge long time lags between input and output events is a key problem in recurrent neural networks. We propose a novel, efficient, gradient-based method called long short-term memory (LSTM). Unlike traditional recurrent nets, LSTM can learn to store information for long periods of time, and it works on problems where previous approaches fail. Experiments show the LSTM architecture can solve tasks that require very long time lags of 1000 steps and more.

提示:以上英文摘要为原文节选,完整论文请通过上方权威链接查看(原始论文版权归原作者/出版方所有)。

发表评论

您的邮箱地址不会被公开。必填项已用 * 标注

© 2026 AI泡泡堂 · 银川鲸鱼智家网络科技有限公司 · 宁ICP备2026003950号
回到顶部