一句话导读
把词语变成向量,机器从此”懂”词义
论文信息
| 英文原名 | Efficient Estimation of Word Representations in Vector Space |
| 中文常用名 | 词向量模型(Word2Vec) |
| 作者 | Mikolov, Chen, Corrado, et al. |
| 发表年份 | 2013 |
| 出处 / 获取 | arXiv:1301.3781 |
| 所属专题 | NLP 与 Transformer |
本文为 AI泡泡堂 经典 AI 文献栏目收录,信息经公开渠道核验。若需引用请以原论文为准。
详细解读(中文)
一、论文背景:传统 NLP 把词表示成稀疏的 one-hot 向量或低维共现统计,无法捕捉语义相似性(”国王”与”皇帝”完全正交),也无法利用上下文。能否从大规模语料中自动学习稠密、语义连续的词向量?
二、核心创新:Word2Vec 提出两种高效词嵌入模型:①CBOW(Continuous Bag-of-Words):用上下文词预测中心词;②Skip-gram:用中心词预测上下文词。通过”负采样(Negative Sampling)”与”层次 Softmax”两大技巧,把训练复杂度降到可在大规模语料上运行。
三、关键技术细节:① 负采样将多分类 Softmax 简化为二分类(区分真上下文与随机负样本),极大加速训练;② 词向量维度通常 100~300;③ 训练后词向量呈现著名语义规律:vec(“king”)-vec(“man”)+vec(“woman”)≈vec(“queen”),即词向量蕴含线性类比关系;④ 在大规模语料上可数小时训练完成,2013 年发表于 NeurIPS。
影响与后续发展
Word2Vec 是”分布式词表示(词嵌入)”的奠基之作,其”语义线性结构”与负采样思想启发了 GloVe、FastText、以及后续 BERT 等预训练模型对 token 表示的构建,也是现代检索、推荐系统中向量化表示的重要源头。
查看原始论文(权威链接)
英文原文摘要(Original Abstract,节选)
Word2Vec: We propose two novel model architectures for computing continuous vector representations of words from very large data sets: the Continuous Bag-of-Words (CBOW) model and the Continuous Skip-gram model. These representations capture rich semantic and syntactic word relationships, and the Skip-gram model with negative sampling trains hundreds of millions of words in minutes, fundamentally shaping how words are represented in NLP.
提示:以上英文摘要为原文节选,完整论文请通过上方权威链接查看(原始论文版权归原作者/出版方所有)。