Hierarchy-Aware Global Model for Hierarchical Text Classification

ACL 2020

原文链接：https://aclanthology.org/2020.acl-main.104.pdf

概要

        由于标签具有结构信息，层次文本分类一直是多标签分类下的一个挑战。目前存在的方法对全局标签的结构进行建模都有一定的困难，并且不能充分利用文本特征空间与标签空间的交互信息。本文将层次结构视为一个有向图，使用层次敏感的结构编码器（structure encoders）来对标签间的依赖关系进行建模。并基于该编码器，提出了一个端到端的分层感知全局模型(HiAGM)，及其两个变体：HiAGM-LA和HiAGM-TP。HiAGM-LA通过层次结构编码器学习层次敏感的label embedding，并对label-aware的文本特征进行归纳融合，而HiAGM-TP则直接将文本特征送入到层次编码器。

介绍

问题：

        目前对于层次文本分类主要存在两种方法：基于局部和基于全局。基于局部的方法就是为每一层都构建一个分类器，但此类方法会导致参数过多和由于缺少全局层次结构信息带来的曝光偏差问题。基于全局的方法就是对所有类别都使用同一个分类器，该类方法提出了各种各样的策略来从上到下的利用结构信息，但目前为止没有一种全局性的方法能够将整体标签结构视为标签的相关特征的编码方式，而且以往的方法忽略了细粒度的标签相关信息。 

IDEA ：

        本文将层次结构视为有向图，将标签依赖关系的先验概率汇总到节点信息，提出HiAGM使用标签的结构特征来增强层次信息。该模型包括一个传统的text encoder（用于提取层次信息）和一个层次敏感的structure encoder（用于对层次标签的关系进行建模）。其中structure encoder是一个集成了先验知识的TreeLSTM或者hierarchy-GCN（GCN 图卷积神经网络 跟GNN相似 只是在聚合信息方式上不同 引入了一些新的方法 如注意力等）。

        为了结合文本特征和标签的结构特征，作者提出了HiAGM的两个变体，HiAGM-LA（提取标签文本特征）和HiAGM-TP（将文本信息传播到整个层次结构中。整个层次结构中每个节点的隐藏状态代表了特定类别的文本信息）。前者更新整个层次的标签结构并使用节点的输出作为层次意识的标签表征。

方法

        该模型的整体结构如下图所示：

先验层次信息 

        HiAGM利用关于预先定义的层次结构和语料库中标签相关性的先验知识，即将标签之间依赖关系的先验概率作为先验层次结构信息，如下图所示：