Seq2seq模型及注意力机制模型

对于处理输出序列为不定长情况的问题，例如机器翻译，例如英文到法语的句子翻译，输入和输出均为不定长。前人提出了seq2seq模型，basic idea是设计一个encoder与decoder，其中encoder将输入序列编码为一个包含输入序列所有信息的context vector $ c $，decoder通过对$ c $的解码获得输入序列的信息，从而得到输出序列。encoder及decoder都通常为RNN循环神经网络

LSTM

• forget gate:
  $$f_t=\sigma (W_f[h_{t-1};x_t]+b_f)$$
  $W_f$是遗忘门的权重矩阵，$[h_{t-1};x_t]$表示把两个向量连接成一个更长的向量，$b_f$是遗忘门的偏置项，$\sigma$是sigmoid函数
  如果输入的维度是$d_x$，隐藏层的维度是$d_h$，单元状态的维度是$d_c$（通常$d_c=d_h$），则遗忘门的权重矩阵$W_f$的维度是$d_c\times (d_h+d_x)$

• input gate
  $$i_t=\sigma (W_i[h_{t-1};x_t]+b_i)$$

• output gate
  $$o_t=\sigma (W_o[h_{t-1};x_t]+b_o)$$

• final out
  $${\tilde{c}}_t=tanh(W_c[h_{t-1};x_t]+b_c)$$
  $$c_t=f_t\ast c_{t-1}+i_t\ast {\tilde{c}}_t$$
  $$h_t=o_t\ast tanh(c_t)$$

• 前向计算每个神经元的输出值，对于LSTM来说就是$f_t$,$i_t$,$c_t$,$o_t$,$h_t$ 5个向量的值

• 反向计算每个神经元的误差项$\delta$，包括两个方向，一是沿时间的反向传播，即从当前t时刻开始，计算每个时刻的误差项；另一个是将误差项向上一层传播

• 根据相应的误差项，计算每个权重的梯度

• sigmoid

$$\delta (x)=\frac{1}{1+e^{-x}}$$
$${\delta }^{{}^{\prime }}(x)=\frac{e^{-x}}{(1+e^{-x}{)}^2}=\delta (x)(1-\delta (x))$$

• tanh

$$tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$
$$tan{h}^{{}^{\prime }}(x)=1-tan{h}^2(x)$$

LSTM需要学习的参数共有8组，分别是：

• 遗忘门的权重矩阵$W_f$和偏置项$b_f$
• 输入门的权重矩阵$W_i$和偏置项$b_i$
• 输出门的权重矩阵$W_o$和偏置项$b_o$
• 计算单元状态的权重矩阵$W_c$和偏置项$b_c$

seq2seq模型

Encoder

编码器的作用是把一个不定长的输入序列$ x_{1},x_{2},…,x_{T} $转化成一个定长的context vector $c$. 该context vector编码了输入序列$ x_{1},x_{2},…,x_{T} $的序列。回忆一下循环神经网络，假设该循环神经网络单元为$f$（可以为vanilla RNN, LSTM, GRU)，那么hidden state为

$$h_t=f(x_t,h_{t-1})$$

编码器的context vector是所有时刻hidden state的函数，即：

$$c=q(h_1,...,h_T)$$

简单地，我们可以把最终时刻的hidden state[公式]作为context vecter。当然我们也可以取各个时刻hidden states的平均，以及其他方法。

Decoder

编码器最终输出一个context vector $c$，该context vector编码了输入序列$ x_{1},x_{2},…,x_{T} $的信息。

假设训练数据中的输出序列为$y_1{y}_2,...,y_T^{{}^{\prime }}$,我们希望每个$t$时刻的输出即取决于之前的输出也取决于context vector，即估计$P(y_{t^{\prime }}|y_1,...,y_{t^{\prime }-1},c)$，从而得到输出序列的联合概率分布：

$$P(y_1,...,y_{T^{\prime }})=\prod _{t^{\prime }-1}^{T^{\prime }}P(y_{t^{\prime }}|y_1,...,y_{t^{\prime }-1},c)$$

并定义该序列的损失函数loss function

$$-\log P(y_1,...,y_{T^{\prime }})$$

通过最小化损失函数来训练seq2seq模型。

那么如何估计$ P(y_{t’}|y_{1},…,y_{t’-1},c) $？

我们使用另一个循环神经网络作为解码器。解码器使用函数$p$来表示$t^{\prime }$时刻输出$y_{t^{\prime }}$的概率

$$P(y_{t^{\prime }}|y_1,...,y_{t^{\prime }-1},c)=p(y_{t^{\prime }-1},s_{t^{\prime }},c)$$

为了区分编码器中的hidden state[公式]，其中[公式]为[公式]时刻解码器的hidden state。区别于编码器，解码器中的循环神经网络的输入除了前一个时刻的输出序列[公式]，和前一个时刻的hidden state[公式]以外，还包含了context vector[公式]。即：

$$s_{t^{\prime }}=g(y_{t^{\prime }-1},s_{t^{\prime }-1},c)$$

其中函数g为解码器的循环神经网络单元。

DA-RNN

第一阶段，使用注意力机制自适应地提取每个时刻的相关feature

$$e_t^k=v_e^{T}tanh(W_e[h_{t-1};c_{t-1}]+U_e{x}^k)$$

• 用softmax函数将其归一化
  $${\alpha }_t^k=\frac{exp(e_t^k)}{{\sum }_{i-1}^{n}exp(e_t^i)}$$
• 得到更新后的x
  $$\tilde{x}=({\alpha }_t^1{x}_t^1,{\alpha }_t^2{x}_t^2,...,{\alpha }_t^n{x}_t^n)$$

• 选取LSTM作为编码器$$f_1$$
  $$h_t=f_1(h_{t-1},\tilde{x})$$

第二阶段，使用另一个注意力机制选取与之相关的encoder hidden states

• 对所有时刻的$h_{t^{\prime }}$取加权平均，即：

$$c_t^{{}^{\prime }}=\sum _{t-1}^T{\beta }_{t^{{}^{\prime }}}^t{h}_t$$

• $${\beta }_{t^{{}^{\prime }}}^t$$的设计类似于Bahanau的工作，基于前一个时刻解码器的hidden state $ d_{t’-1} $和cellstate$s_{t’-1}^{’}$计算得到：

$$l_t^t=v_d^{T}tanh(W_d[d_{t-1};s_{t-1}^{{}^{\prime }}]+U_d{h}_t)$$
$${\beta }_t^i=\frac{exp(l_t^i)}{{\sum }_{j=1}^{T}exp(l_t^j)}$$
$$c_t=\sum _{i=1}^T{\beta }_t^i{h}_i$$

• 解码器的输入是上一个时刻的目标序列$y_{t^{\prime }-1}$和hidden state$d_{t^{\prime }-1}$以及context vector $c_{t^{\prime }-1}$，即
  $$d_{t^{\prime }}=f_2(y_{t^{\prime }-1},c_{t^{\prime }-1},d_{t^{\prime }-1})$$
• 这里设计了${\tilde{y}}_{t^{\prime }-1}$来combie$y_{t^{\prime }-1}$与$c_{t^{\prime }-1}$的信息，即
  $${\tilde{y}}_{t^{\prime }-1}={\tilde{\omega }}^T[y_{t^{\prime }-1};c_{t^{\prime }-1}]+\tilde{b}$$
• 然后
  $$d_t=f_2(d_{t-1},{\tilde{y}}_{t-1})$$