Hierarchical Attention Networks for Document Classification阅读报告

HAN网络：

按照我的理解HAN网络是用于文本分类的，是对文本的一个向量表示。但表示过程是层次化的。

摘要

HAN网络有两大特点，1HAN是层次化的模型，可以暗示了文本本身具有的层次化特征2.使用了两级注意力机制，允许关注更重要的信息。在六个大型分类任务上都取得了良好的成绩。

介绍

文本分类是NLP的基本任务。目标是为一个文本联系一个标签。传统分类方法基于稀疏的从词特征，比如n_gram，再放入SVM中。如今神经网络已经在其中大规模应用。
虽然神经网络方法已经足够有效，但这篇文章表名，如果把文本结构集成到网络模型这种可以获得更好的结果。这篇文章动机在于，并非文档的所有部分都与回答问题同等相关，相关性涉及对单词的相互作用进行建模，而不仅仅是孤立的单词存在。
主要贡献是提出了一种新网络结构，层次注意力网络，来捕获两种在文档结构中洞察到的领悟。1.因为文档是层次化的，我们先建立构建文档的句子表示，在构建词表示。2.不同的词和句子在文档中信息不同，词和句子的意思高度依赖于上下文，同样的词在不同的句子中可能有不同的重要性。为了获取这个信息，我们使用了两层注意力模型，一层在单词级，一层在句子级。让模型能够更集中注意力在单词个体和句子个体。
与以前工作的关键区别在于，HAN使用上下文来发现序列何时相关，而不是简单地从上下文中筛选。

HAN

HAN模型：四部分组成，word级编码器，word级注意力，sentence级编码器，sentence级注意力

基于GRU

GRU使用门控机制但不使用额外的cell存储信息：
GRU有两个门 update门和reset门


更新门负责内部状态更新


最终状态依靠复位门输出

层次化注意力

我们关系的是文本分类问题。假设有一个文档有L个句子，每个句子有Ti个单词。wit是第t个句子中第i个单词。该模型将原始文档投影为向量表示，并在此基础上构建分类器进行文档分类。在下面，我们将介绍如何使用层次结构构建文档，逐步从单词向量中提取向量。

单词编码器

给定一个句子由wit组成，第一步把单词转为词嵌入表示。

在此之上，我们使用双向GRU来汇总双向单词信息得到向量。

hit汇总了以wit为中心的两端的对单词的表示。除了直接使用词向量，我们还可以使用字符级别的嵌入来获得。
这样子每个单词就有了一个编码hit

单词注意力

不是每个单词对句子向量的构建都起到相同的作用，所以我们使用注意力机制来提取单词中的重要性信息，并且汇聚一个表示。

先使用单层MLP来获得一个hit的隐藏表示，然后uw作为上下文评分向量(这是可学习的)。然后获得一个分数，对hit进行加权相加。得到一个句子向量si。

句子编码器

给定句子向量，我们要计算文本向量。也使用双向GRU。


hit汇总了以wit为中心的两端句子的表示。

句子注意力

同样不同句子的重要性也是不同的。也使用一个注意力机制。

来得到一个文本向量表示。

文本分类

文本分类可以基于softmax分类。使用负对数极大似然。

.