NLP---seq2seq与注意力机制

1. seq2seq

参考：https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/

• 模型结构
  seq2seq是一个“编码解码器”结构，编码器处理输入序列中的每个元素，将捕获的信息编译成上下文内容向量 (context vector)。在处理整个输入序列之后，编码器将context vector发送到解码器，解码器逐项开始产生输出序列。如下图所示：

encoder和decoder会借助于循环神经网络(RNN)这类神经网络进行计算。举一个机器翻译的例子如下所示：

但是，考虑到提升效果，不会寄希望于把所有的内容都放到一个上下文向量中，而是会采用注意力机制来进行处理。

2. 注意力机制 (Attention)

参考：https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/
https://zhuanlan.zhihu.com/p/40920384

• 注意力机制是一个很神奇地可以学习源语言和目标语言之间词和词对齐关系的方式。
• 对Attention一种直观的感受见下图：

• 更加详细的过程参考：https://zhuanlan.zhihu.com/p/40920384

3. Feed-Forward Attention机制

参考：

1. 提出注意力的论文：
   (1) Neural Machine Translation by Jointly Learning to Align and Translate（最先提出）
   (2) Feed-Forward Networks with Attention Can Solve Some Long-Term Memory Problems（以下主要参考这篇论文，简称为feed forward attention）
2. https://zhuanlan.zhihu.com/p/37601161
   https://zhuanlan.zhihu.com/p/53036028

• 网络结构图：feed forward attention机制的网络结构图如下所示，

• 原理：feed forward attention机制可以形式化为，
  $$e_t=a(h_t),{\alpha }_t=\frac{exp(e_t)}{{\sum }_{k=1}^{T}exp(e_k)},c=\sum _{t=1}^T{\alpha }_t{h}_t$$
  其中 $a(h_t)$ 是一个训练函数，可以看作是一个前馈网络。
• 应用于文本分类：将向量$c$输入到一个全连接层并进行softmax。

4. HAN层叠注意力机制

参考
(1) 论文：Hierarchical Attention Networks for Document Classification
(2) 以上论文笔记

• HAN：Hierarchical Attention Networks，层叠注意力。
• 所谓层次：文档具有层次结构特性，文档由句子组成，句子由单词组成。那么可以考虑使用单词的词向量表示句子，在此基础上再用句子的向量构建文档的信息表示。
• 所谓注意力：句子中不同的单词对句子的重要性不同，同样一篇文档中不同的句子对文档的贡献程度也不一样。而单词和句子的重要程度不是固定的，是由上下文环境所决定的，因此需要引入注意力机制来学习这种重要程度。
• 层次与注意力珠联璧合：先在单词层次构建注意力机制，使其能够表达不同单词的重要程度，再在句子层次构建注意力机制，使其能够表达不同句子的重要程度。

4.1 网络结构

• 网络结构：层次注意力的网络结构如下图所示，

网络由5层组成，从下到上为是词向量编码层BiGRU、单词级别的Attention层、句子编码层BiGRU、句子级别的Attention层和全连接层。

• 注意力部件：层次注意力中计算不同单词和句子注意力的方法是feed-forward attention方法。

4.2 学习原理

4.2.1 Word Encoder

• 首先，令第$i$个句子$s_i$中第$t$个单词的one-hot编码为$w_{it}$，对其进行embedding得到该单词的词向量：$$x_{it}=W_e{w}_{it},t\in [1,T]$$
• 使用双向GRU分别计算单词$w_{it}$的forward hidden state ${\overrightarrow{h}}_{it}$ 与backward hidden state ${\overleftarrow{h}}_{it}$：
  $${\overrightarrow{h}}_{it}=\overrightarrow{GRU}(x_{it}),t\in [1,T]$$ $${\overleftarrow{h}}_{it}=\overleftarrow{GRU}(x_{it}),t\in [T,1]$$ $$h_{it}=[{\overrightarrow{h}}_{it},{\overleftarrow{h}}_{it}],t\in [1,T]$$
  $h_{it}$表示以单词$w_{it}$为中心的句子相关信息。

4.2.2 Word Attention

$$u_{it}=tanh(W_w{h}_{it}+b_w),t\in [1,T]$$ $${\alpha }_{it}=\frac{exp(u_{it}^T{u}_w)}{{\sum }_{t}exp(u_i{t}^T{u}_w)},t\in [1,T]$$ $$sentencevector:s_i=\sum _t{\alpha }_{it}{h}_{it}$$
$u_w$: word level context vector，在训练过程中与其他参数一起学习，初始值是随机初始化的。

4.2.3 Sentence Encoder

同样将句子向量$s_i$输入到双向GRU中：
$${\overrightarrow{h}}_i=\overrightarrow{GRU}(s_i),i\in [1,L]$$ $${\overleftarrow{h}}_i=\overleftarrow{GRU}(s_i),i\in [L,1]$$ $$h_i=[{\overrightarrow{h}}_i,{\overleftarrow{h}}_i],i\in [1,L]$$

4.2.4 Sentence Attention

$$u_i=tanh(W_s{h}_i+b_s),i\in [1,L]$$ $${\alpha }_i=\frac{exp(u_i^T{u}_s)}{{\sum }_{i}exp(u_i^T{u}_s)},i\in [1,L]$$ $$documentvector:v=\sum _i{\alpha }_i{h}_i$$
$u_s$：sentence level context vector。

4.2.5 Document Classification (全连接层)

$$p=softmax(W_{c}v+b_c)$$

4.3 总结

• 优点：(1) 相对于论文中所比较的几种方法（见下图），分类性能有所提升。
  (2) 可以识别不同单词和句子的重要程度。