36、神经网络中的词嵌入及语言检测应用

神经网络中的词嵌入及语言检测应用

1. 词嵌入基础

在神经网络的词嵌入领域，CBOW（Continuous Bag-of-Words）嵌入是重要的一部分。我们可以使用以下代码保存整个模型：

torch.save(model, 'cbow.model')

实际上，真正有价值的是嵌入部分，它对应模型的第一层。我们可以通过以下代码提取：

model[0].weight

提取后，我们可以将这些嵌入存储在 pandas 的 DataFrame 中，并保存到文件里。

当模型训练完成后，我们可以使用特定函数计算一些词的余弦相似度。在批量大小为 1024、使用 mean() 函数聚合向量以及进行五个周期训练的情况下，部分词的五个最相似词如下表所示：
| 词 | 最相似的五个词 |
| — | — |
| he | [‘she’, ‘they’, ‘i’] |
| she | [‘he’, ‘vulcan’, ‘they’] |
| ulysses | [‘telemachus’, ‘antinous’, ‘juno’] |
| penelope | [‘helen’, ‘telemachus’, ‘juno’] |
| achaeans | [‘danaans’, ‘trojans’, ‘argives’] |