一句话导读
让语言模型”前后文一起看”，掀起NLP革命
论文信息
| 英文原名 | BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding |
| 中文常用名 | BERT |
| 作者 | Devlin, Chang, Lee, et al. |
| 发表年份 | 2019 |
| 出处 / 获取 | arXiv:1810.04805 |
| 所属专题 | NLP 与 Transformer |
本文为 AI泡泡堂 经典 AI 文献栏目收录，信息经公开渠道核验。若需引用请以原论文为准。
详细解读（中文）
一、论文背景：GPT-1 等早期预训练模型采用”自左向右”的单向语言模型训练方式（只能看左侧上下文），这限制了模型对句子完整语义的理解；而 ELMo 虽实现了双向，却是分别训练两个方向再拼接，并非真正深度融合。如何让预训练模型同时利用左右两侧上下文，成为当时的关键问题。
二、核心创新：BERT 提出”掩码语言模型（Masked Language Model, MLM）”：随机遮盖输入中 15% 的词，让模型根据左右两侧的上下文预测被遮住的词，从而实现真正的双向编码。此外提出”下一句预测（Next Sentence Prediction, NSP）”任务，帮助模型理解句间关系。模型采用多层双向 Transformer 编码器，有 BERT-Base（12 层、1.1 亿参数）和 BERT-Large（24 层、3.4 亿参数）两个版本。
三、关键技术细节：① 预训练数据为 BookCorpus + 英文维基百科共约 33 亿词；② WordPiece 分词，词表 3 万；③ 15% 遮盖策略中：80% 换 [MASK]、10% 随机替换、10% 保持不变，缓解预训练与微调阶段的差异；④ 引入 [CLS] 标记承载整个句子的聚合表示，[SEP] 标记分隔句对；⑤ 微调时只需在 [CLS] 输出上接一个分类层，即可适配问答、分类、推断等几乎所有 NLP 任务，无需修改模型结构。在 GLUE、SQuAD 等 11 项任务上全部刷新纪录。
影响与后续发展
BERT 重新定义了 NLP 的”预训练+微调”范式，其双向编码思想被 RoBERTa、ALBERT、ELECTRA 等大量后续模型继承和改进；同时它证明了”更深的双向 Transformer + 大规模无监督预训练”的巨大潜力，直接推动了大模型时代的到来。BERT 论文（Google 2018）至今仍是被引用最多的 AI 论文之一，中文世界的 ERNIE、MacBERT 等也都沿用了 BERT 框架。
查看原始论文（权威链接）
英文原文摘要（Original Abstract，节选）
We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models, BERT is designed to pre-train deep bidirectional representations from unlabeled text by jointly conditioning on both left and right context in all layers. As a result, the pre-trained BERT model can be fine-tuned with just one additional output layer to create state-of-the-art models for a wide range of tasks, such as question answering and language inference, without substantial task-specific architecture modifications.
提示：以上英文摘要为原文节选，完整论文请通过上方权威链接查看（原始论文版权归原作者/出版方所有）。