HAN论文笔记

HAN（hierarchical attention network）是2016年提出的用于文档（document）分类的模型，该模型是一个多层注意力网络。由于文档是由句子（sentence）组成，句子是由词（word）组成，HAN先将句子分词后应用一层注意力机制得到句子的向量（sentence vector），然后再应用一层注意力机制得到文档的向量（document vector），最后使用全连接层进行分类。
论文链接：Hierarchical Attention Networks for Document Classification

1 文章的主要贡献

提出了一个用于文档分类的多层注意力网络HAN（hierarchical attention network）。并通过将文档中的句子以及句子中的词的注意力分布进行可视化，证明了HAN可以很好的关注文档中对于分类重要的句子以及句子中重要的词。

2 网络结构

HAN的网络结构为：

可以看到HAN主要包含了三个部分，第一部分为word encoder和word attention，由组成句子的词通过编码以及注意力机制得到句向量；第二部分为sentence encoder和sentence attention&