attention机制的原理

Attention机制的基本思想是

，打破了传统编码器-解码器结构在编解码时都依赖于内部一个固定长度向量的限制。
更为通俗的一种解释是，attention机制就是将encoder的每一个隐藏状态设定一个权重，根据权重的不同决定decoder输出更侧重于哪一个编码状态。