27、神经网络文本处理与训练方法详解

神经网络文本处理与训练方法详解

1. 特征聚合

在图神经网络中，与树LSTM不同，树LSTM可以使用顶层节点的隐藏状态来表示整棵树，而图神经网络会为图结构中的每个节点计算一个隐藏状态。为了获得整个图的单一向量表示，可以在最终的隐藏状态之上添加一个聚合层。池化和注意力聚合都是可行的方法。对于注意力聚合，如公式14.11所示，需要一个查询向量q，这个查询向量可以是一个随机初始化的模型参数。这样就可以得到一个与之前某结构（类似图13.3）相似的文本分类器，只不过将序列编码层替换为给定语义图结构的图编码层。

2. 表示分析

文本的神经表示向量h可以包含输入特征的自动组合，捕捉句法和语义信息，但它们是动态计算的，不易解释。有两种间接方法可以分析学习到的表示向量：
- 可视化 ：这是一种定性分析表示向量的方法。具体来说，是将隐藏表示投影到二维图形中，以便更好地理解它们之间的相关性。t分布随机邻域嵌入（t - SNE）是一个有用的工具，它是一种非线性降维技术，旨在保留原始高维向量空间和投影后的二维空间中向量之间的距离相关性。通过检查不同输入的向量表示之间的几何相关性，可以了解表示向量的特征。例如，使用文本分类器进行情感分类时，通过检查正文本和负文本的隐藏向量在向量空间中是否分离良好，来判断隐藏表示是否捕捉到了输入文本的情感属性。图14.8展示了一组文档通过其隐藏表示的t - SNE可视化结果，可以看到正文档和负文档在向量空间中位于不同的簇中，这表明向量表示捕捉到了情感信息。
- 探测任务 ：这是一种定量分析学习表示的方法。探测任务是指预测我们期望学习表示捕捉的特征的辅助任务。例如，如果期望文本的