18、神经网络自然语言处理：损失、嵌入与类比的奥秘

神经网络自然语言处理：损失、嵌入与类比的奥秘

1. 损失函数决定神经网络知识

在神经网络中，损失函数起着至关重要的作用。即使网络在相同数据集上以相似架构（如三层结构、交叉熵、Sigmoid非线性）进行训练，通过改变让网络预测的内容，就能影响其权重学习的方向。这种选择网络学习目标的过程可称为智能靶向。

智能靶向的实现不仅可以通过控制输入和目标值，还能调整网络误差的测量方式、层的大小和类型，以及正则化的应用。这些在深度学习研究中都属于构建损失函数的范畴。

例如，在电影评论的神经网络中，不同的目标值（如预测正负情感与填空任务）会导致损失函数不同，进而使单词嵌入的聚类方式产生差异。以下是查询“terrible”和“beautiful”相似词的示例代码及结果：

print(similar('terrible'))
[('terrible', -0.0),
 ('dull', -0.760788602671491),
 ('lacks', -0.76706470275372),
 ('boring', -0.7682894961694),
 ('disappointing', -0.768657),
 ('annoying', -0.78786389931),
 ('poor', -0.825784172378292),
 ('horrible', -0.83154121717),
 ('laughable', -0.8340279599),
 ('badly', -0.84165373783678)]

print(similar('terrible'))
[('terrible', -0.0),
 ('ho