【笔记】Every Document Owns Its Structure Inductive Text Classifification via

最新推荐文章于 2022-10-28 11:05:59 发布

原创

最新推荐文章于 2022-10-28 11:05:59 发布 · 746 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python

【笔记】Every Document Owns Its Structure: Inductive Text Classifification via Graph Neural Networks

一、背景

1.1 作者通过什么样的方法，解决了怎样的问题，得出了怎样的结论？

作者提出了TextING通过GNN进行归纳文本分类的方法，解决了现在基于图的工作不能捕获每个文档中的上下文单词关系以及不能完成对新单词归纳学习的问题，得出作者的方法优于最先进的文本分类方法。

1.2 作者方法的三大贡献

提出一种新的文本分类图神经网络，其中每个文档都是一个单独的图，可以从中学习文本级的文字交互。
作者的方法可以推广到训练中没有的新words，因此适用于归纳的情况。
证明了作者的方法优于最先进文本分类方法。

二、方法

TextING由3个关键部分组成：图的构造（Graph Construction）、基于图的单词交互（Graph-based Word Interaction）、读出功能（readout function）。

在这里插入图片描述

如图：TestING的架构，例如，在文档图上，每个word节点从其邻节点更新自己，然后它们聚合到最终的图表示

2.1 图的构造（Graph Construction）

作者通过将unique word表示为顶点，将words之间的co-occurrences(共现)表示为边来构造文本文档的图，表示为 $G = （ V ， E ）$ ，其中V是顶点集，E是边。co-occurrences(共现)描述了固定大小滑动窗口（默认长度为3）中出现的words之间的关系，它们在图形中是无向的。文本以标准的方式进行预处理，包括标记化和停止删除。顶点的特征用单词特征初始化，表示为 $h∈R∣V∣×dh\in \R^{|V|\times d }$ ，其中d是嵌入维数。由于我们为每个文档构建单独的图形，因此word特征信息在word交互阶段被上下文传播和合并。

2.2 基于图的单词交互（Graph-based Word Interaction）

在每个图上，我们采用 Gated Graph Neural Networks (Li et al., 2015)来学习word节点的特征。节点可以从其相邻节点接收信息 $a$ ，然后与自己的表示合并进行更新。由于图层在一阶邻节点上操作，我们可以堆叠这些层 $t$ 时间来实现高阶特征交互，其中一个节点可以到达另一个节点t跳开。交互作用的公式为：
${\bold a}^t = Ah^{t-1}W_a, \qquad (1) \\ {\bold z}^t = σ\big({\bold W}_z \bold a^t + \bold U_z \bold h^{t-1} + \bold b_z\big), \qquad (2) \\ \bold r^t = σ\big( \bold W_r \bold a^t + \bold U_r \bold h^{t-1} + \bold b_r\big), \qquad (3) \\ \tilde{ \bold h} ^{t} = tanh \Big(\bold W_h \bold a^t+ \bold U_h(\bold r^t \odot \bold h^{t-1})+ \bold b_h \Big), \qquad (4) \\ \bold h^t = \tilde{\bold h}^t \odot\bold z^t +\bold h^{t-1} \odot \Big( 1- \bold z^t\Big), \qquad (5)$