18、神经网络语言学习：从词嵌入到句子向量

神经网络语言学习：从词嵌入到句子向量

1. 词嵌入与损失函数的影响

在自然语言处理中，神经网络通过词嵌入来对语言进行建模。词嵌入是将单词表示为向量的方式，它能够捕捉单词之间的语义关系。而损失函数的选择对词嵌入所捕获的属性有着重要影响。

1.1 不同的词嵌入聚类方式

使用新的神经网络时，词嵌入的聚类方式会有所不同。之前单词是根据预测正或负标签的可能性进行聚类，现在则是基于在同一短语中出现的可能性进行聚类（有时不考虑情感）。例如：

print(similar('terrible'))
[('terrible', -0.0),
 ('dull', -0.760788602671491),
 ('lacks', -0.76706470275372),
 ('boring', -0.7682894961694),
 ('disappointing', -0.768657),
 ('annoying', -0.78786389931),
 ('poor', -0.825784172378292),
 ('horrible', -0.83154121717),
 ('laughable', -0.8340279599),
 ('badly', -0.84165373783678)]

以及

print(similar('terrible'))
[('terrible', -0.0),
 ('horrible', -2.79600898781),
 ('brilliant', -3.3336178881),