A Brief History of Word Embeddings and Their Use in NLP

AI天才研究院

已于 2023-08-05 01:40:34 修改

阅读量935

点赞数 3

分类专栏： Python实战文章标签：自然语言处理人工智能语言模型编程实践开发语言架构设计

于 2023-08-05 01:13:28 首次发布

本文链接：https://blog.youkuaiyun.com/universsky2015/article/details/132114599

版权

Python实战专栏收录该内容

6686 篇文章 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文简要回顾了词嵌入的发展历程，从最初的向量表示到矩阵分解方法，再到Word2Vec、GloVe、FastText等模型的出现。词嵌入已成为自然语言处理中的关键工具，改善了多种NLP任务的性能。文章详细介绍了词嵌入的基本概念，如向量表示、词袋模型和skip-grams，并探讨了矩阵分解在转换稀疏词嵌入为低维稠密向量的作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

作者：禅与计算机程序设计艺术

1.简介

1950年代，英文单词"word embedding"第一次出现在著名的科幻小说“狄更斯的通灵秘笈”中。当时，英语被视作计算机和语言处理领域的主要研究对象，因此，Word Embedding这一术语也被用来描述整个领域中的重要研究成果。
1980年代，计算机模型如相似性匹配算法(similarity matching algorithms)或聚类算法(clustering algorithms)开始广泛使用。由于每一个词都对应着一个向量表示(vector representation)，所以相关的算法就可以利用这些向量来计算相似度或者聚类结果。然而，人们发现这些向量表示并不是自然语言的有效表示形式。为了解决这个问题，提出了词嵌入(Word Embedding)的概念。
1980年，Bordes、Levy及其合作者发表了“Learning Distributed Representations of Texts and Documents”一文，介绍了词嵌入的一些基本概念。1983年，Mikolov等人首次提出了一种简单有效的方法——基于共现矩阵的矩阵分解方法(Matrix Factorization)。
1997年，三维空间下的词嵌入已经成为人们关注的热点。随后，三元组、Skip-Gram、Negative Sampling等模型被提出，帮助词嵌入算法更好地适应于实际应用场景。
2003年&#