18、神经网络语言处理：从词嵌入到句子向量

神经网络语言处理：从词嵌入到句子向量

1. 损失函数决定神经网络的学习方向

在神经网络的学习过程中，损失函数起着至关重要的作用。即使在相同的数据集上使用相似的网络架构（如三层网络、交叉熵、Sigmoid 非线性激活函数），通过改变让网络预测的目标，也能影响网络在权重中学习到的内容。

例如，在新的神经网络中，词嵌入的聚类方式发生了变化。之前词是根据预测正负标签的可能性进行聚类，而现在是基于在同一短语中出现的可能性（有时不考虑情感）进行聚类。

print(similar('terrible'))
[('terrible', -0.0),
 ('dull', -0.760788602671491),
 ('lacks', -0.76706470275372),
 ('boring', -0.7682894961694),
 ('disappointing', -0.768657),
 ('annoying', -0.78786389931),
 ('poor', -0.825784172378292),
 ('horrible', -0.83154121717),
 ('laughable', -0.8340279599),
 ('badly', -0.84165373783678)]

这种现象表明，我们可以通过选择输入和目标值来引导网络学习特定的内容，这一过程可称为智能靶向。

控制输入/目标值并非进行智能靶向的唯一方式，还可以调整网络测量误差的方式、网络层的大小和类型以及应用的正则化类型。在深度学习研究中，这些技术都属于构建损失函数的范畴。

损失