10、多显示图注意力网络在文本分类中的应用

多显示图注意力网络在文本分类中的应用

在文本分类领域，如何更全面、准确地捕捉文本信息一直是研究的重点。本文将介绍一种名为MDGAT（Multi-Display Graph Attention Network）的模型，它在文本分类任务中展现出了卓越的性能。

1. 研究贡献

• 构建多显示图 ：从语法、语义、句法和主题等不同视角构建多个显示图，为每个图分配不同权重后进行加权累加融合，从而全面获取文本的相关信息。
• 提出MDGAT模型 ：旨在高效聚合图结构信息，采用多步聚合方法，结合节点内部重要性和节点间相关性信息，更好地进行文本表示学习，增强对词间高阶交互的捕捉。同时，使用门控循环单元聚合上下文信息，有效将图结构转换为序列结构，提升文本表示和词间依赖建模能力。
• 实验验证 ：在多个基准数据集上进行大量实验，证明MDGAT在文本分类任务中优于其他方法。

2. 相关工作

近年来，图神经网络（GNN）在各种图学习任务中受到广泛关注并取得显著成功。许多流行的图神经网络模型遵循邻域聚合范式，例如：
- GCN ：Yao等人将其应用于文本分类任务，以词为节点，采用均值池化进行领域聚合。
- GAT ：将边关系作为信息聚合到节点，并结合可训练的注意力权重聚焦于节点信息聚合。
- HyperGAT ：首次将超图与GAT结合，以句子级结构为信息聚合的分界。