词向量模型(Word2Vec)(Efficient Estimation of Word Representations in Vector Space)

一句话导读

把词语变成向量,机器从此”懂”词义

论文信息

英文原名 Efficient Estimation of Word Representations in Vector Space
中文常用名 词向量模型(Word2Vec)
作者 Mikolov, Chen, Corrado, et al.
发表年份 2013
出处 / 获取 arXiv:1301.3781
所属专题 NLP 与 Transformer

本文为 AI泡泡堂 经典 AI 文献栏目收录,信息经公开渠道核验。若需引用请以原论文为准。

详细解读(中文)

一、论文背景:传统 NLP 把词表示成稀疏的 one-hot 向量或低维共现统计,无法捕捉语义相似性(”国王”与”皇帝”完全正交),也无法利用上下文。能否从大规模语料中自动学习稠密、语义连续的词向量?

二、核心创新:Word2Vec 提出两种高效词嵌入模型:①CBOW(Continuous Bag-of-Words):用上下文词预测中心词;②Skip-gram:用中心词预测上下文词。通过”负采样(Negative Sampling)”与”层次 Softmax”两大技巧,把训练复杂度降到可在大规模语料上运行。

三、关键技术细节:① 负采样将多分类 Softmax 简化为二分类(区分真上下文与随机负样本),极大加速训练;② 词向量维度通常 100~300;③ 训练后词向量呈现著名语义规律:vec(“king”)-vec(“man”)+vec(“woman”)≈vec(“queen”),即词向量蕴含线性类比关系;④ 在大规模语料上可数小时训练完成,2013 年发表于 NeurIPS。

影响与后续发展

Word2Vec 是”分布式词表示(词嵌入)”的奠基之作,其”语义线性结构”与负采样思想启发了 GloVe、FastText、以及后续 BERT 等预训练模型对 token 表示的构建,也是现代检索、推荐系统中向量化表示的重要源头。


查看原始论文(权威链接)

英文原文摘要(Original Abstract,节选)

Word2Vec: We propose two novel model architectures for computing continuous vector representations of words from very large data sets: the Continuous Bag-of-Words (CBOW) model and the Continuous Skip-gram model. These representations capture rich semantic and syntactic word relationships, and the Skip-gram model with negative sampling trains hundreds of millions of words in minutes, fundamentally shaping how words are represented in NLP.

提示:以上英文摘要为原文节选,完整论文请通过上方权威链接查看(原始论文版权归原作者/出版方所有)。

发表评论

您的邮箱地址不会被公开。必填项已用 * 标注

© 2026 AI泡泡堂 · 银川鲸鱼智家网络科技有限公司 · 宁ICP备2026003950号
回到顶部