超级会员免费看
本文介绍了词嵌入的概念，用于解决自然语言处理中单词编码的问题。词嵌入通过向量表示单词，使词性相近的词在向量空间中的夹角小，从而表示它们的相似性。在PyTorch中实现词嵌入非常简单，可以通过nn.Embedding创建词嵌入矩阵。接着讲解了Skip-Gram模型，该模型通过预测词的上下文来训练词嵌入，用于构建词向量。最后，文章描述了模型结构和训练样本的生成方式。
Pytorch Note40 词嵌入（word embedding）
全部笔记的汇总贴： Pytorch Note 快乐星球
词嵌入
前面讲了循环神经网络做简单的图像分类问题和飞机流量时序预测，但是现在循环神经网络最火热的应用是自然语言处理，下面我们介绍一下自然语言处理中如果运用循环神经网络，首先我们介绍一下第一个概念，词嵌入。
对于图像分类问题，我们可以使用 one-hot 的类型去编码，比如一共有 5 类，那么属于第二类就可以用 (0, 1, 0, 0, 0) 去表示，对于分类问题，这样当然忒别简单，但是在自然语言处理中，因为单词的数目过多，这样做就行不通了，比如有 10000 个不同的词，那么使用 one-hot 不仅效率低，同时还没有办法表达出单词的特点，这个时候就引入了词嵌入去表达每一个单词。
词向量简单来说就是用一个向量去表示一个词语，但是这个向量并不是随机的，因为这样并没有任何意义，所以我们需要对每个词有一个特定的向量去表示他们，而有一些词的词性是相近的，比如”(love)喜欢”和”(like)爱”，对于这种词性相近的词，我们需要他们的向量表示也能够相近，如何去度量和定义向量之间的相近呢？非常简单，就是使用两个向量的夹角，夹角越小，越相近，这样就有了一个完备的定义。
我们举一个例子，下面有 4 段话
-
The
订阅专栏 解锁全文
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
