Transformer Encoder Attention原理

本文详细解析了Transformer模型中Encoder端的Attention机制。通过线性变换将输入词向量转换为Query，Key和Value向量，计算Query与所有Key的点积并经过softmax得到权重，最后用这些权重对Value向量加权求和。这一过程使每个词能够关注输入序列中的其他词，捕捉词与词之间的关系，增强模型对序列的理解能力，文章通过维度分析，直观展示了Attention的计算过程。

Inputs ->Input Embedding -> Positional Encoding

--> Multi-Head Attention

-->Add&Norm

-->Feed Forward

-->Add&Norm

Outputs Embedding

--> Positional Encoding

--> Masked Multi-Head Attention

--> Add&Norm

--> Multi-Head Attention

--> Add&Norm

--> Feed Forward

--> Add&Norm

--> Linear

--> Softmax

Output Probabilities

encoder的attention

场景：现在要训练的内容是I love my dog->我喜欢我的狗

那么在encoder端的输入是: I love my dog

假设经过embedding和位置编码后，I love my dog这句话肯定已经变成了一个向量，但是在这里方便起见，我们依然用I love my dog来表示经过了处理之后的向量表示，后面有机会我会将向量的维度拆解开再给大家讲一遍。

接下来要进入encoder端的attention层了。

attention的动机

动机很简单，生成一个张量，张量表示了输入的每一个词向量和其他词向量之间的关系。

这个关系的表示，需要在一个给定维度的空间中完成。而在多少维度的空间中进行，就取决于我们在attention中指定的线性层的维度。

如何衡量关系--相似度

衡量两个向量的相似度的方法就是向量点