19、深入理解词嵌入与句子向量生成

深入理解词嵌入与句子向量生成

1. 词嵌入中的信息存储

在处理词嵌入时，我们可以换一种视角来理解信息是如何存储的。通常，我们可以将词向量看作一条有高低起伏的曲线，而不是简单的数字列表。不同的词对应的曲线形状是独特的，但具有相似含义的词往往会有相似的曲线特征。

例如，像“terrible”和“boring”这类表示负面意义的词，它们的曲线形状会有一定的相似性；“beautiful”和“wonderful”这类表示正面意义的词，它们的曲线形状也会有相似之处，但与负面意义的词不同。如果对这些曲线进行聚类，具有相似意义的词会聚集在一起。而且，这些曲线的某些部分本身就具有实际意义。

以负面词汇为例，在曲线从左起约40%的位置，会有一个先下降后上升的尖峰。这个尖峰并不是神奇地代表“负面性”，如果重新训练网络，它可能会出现在其他位置。它之所以表示负面性，是因为所有负面词汇的曲线都有这个特征。

在训练过程中，这些曲线会被塑造，使得不同位置的曲线能够传达特定的意义。当对一个句子中的词嵌入求平均曲线时，句子中最主要的意义会得以保留，而个别词产生的噪声会被平均掉。不过，这种方法存在一个弱点：当试图将任意长的句子信息存储到一个固定长度的向量中时，如果存储的信息过多，最终的句子向量（多个词向量的平均值）可能会趋近于一条直线（接近0的向量），导致几乎没有存储到有效信息。但如果句子包含重复模式，这种句子向量仍然是有用的，因为它会保留词向量中最主要的模式。

2. 神经网络如何使用词嵌入

神经网络会检测与目标标签相关的曲线。我们已经了解到可以将词嵌入看作具有独特属性（曲线）的波浪线，并且这些曲线是在训练过程中为了实现目标而形成的。具有相似意义的词通常