N10 - NLP中的注意力机制

• 🍨 本文为🔗365天深度学习训练营 中的学习记录博客
• 🍖 原作者：K同学啊

---

---

1. 注意力机制是什么

在上节的seq2seq框架中，让两个循环神经网络（RNN）构成了 编码器-解码器 结构。其中编码器逐个读取输入词，获得固定维度的向量表示，然后解码器基于这些输入逐个提取输出词。

上面的结构的问题在于，解码器从编码器接受的唯一信息是 最后一个编码器隐藏状态，这是类似于对输入的序列进行总结。

所以对于较长的输入文本，结构会变成如下图所示

如果仍然希望解码器仅仅利用最后一个编码器的隐藏状态的输出就输出完成的译文，肯定是不太合理地，会导致灾难性遗忘。

所以我们如果可以向解码器提供每个编码器时间步的向量表示，而不是只把最终的给它，是不是就能改进翻译的结果呢，这就需要引入注意力机制。

注意力机制是编码器和解码器之间的接口，它为解码器提供每个编码器隐藏状态的信息（最后一层的除外）。通过这个设置，模型能够有选择地侧重输入序列中游泳的部分，有助于模型更高效地处理输入长句。

注意力机制的本质：通过为每个单词分配值，注意力机制可以为不同单词分配不同的注意力。然后利用softmax对编码器隐藏状态进行加权求和，得到上下文向量（Context Vector）。

注意力层的实现可以分成6个步骤。

2. 注意力实现步骤

0. 准备隐藏状态