attention_9

作业链接; https://shimo.im/docs/KivfbK9TUHgCqg9b/

参考： https://blog.youkuaiyun.com/qq_41664845/article/details/84969266

LSTM虽然能够减少一定的梯度消失，优与RNN，在文本很长的情况下，LSTM也会丢失大量的信息。

attention的出现解决了随着时间推移，信息丢失的问题。如下图B所示，为基本的attention，对于序列X=(x1,x2,x3)，对应了3个C，分别对不同的有不同的关注度，在解码时结合了C1,C2,C3。而不带attention的普通的encoder-decoder，如图A所示，类似于RNN一样，只会使用最后X的序列状态以及C进行解码。

 

图C为多头attention，即从多个方面来对一句话中的一个单词进行描述，最后对多个head进行整合计算，送入前馈神经网络。

transformer的架构也是encoders-decoders的，分别由6组self-attention组成，其中decoder部分中的每个单元中，比encoder多了encoder-decoder attention，不大懂。

HAN（hierarchical attention networks)

待续未完...