自注意力机制和位置编码

一、自注意力机制

在注意力机制的基础上，每一个kqy都是自己，并且都有一个输出

与其他比较

 

 注意：

CNN（reshape一个序列），计算复杂度(k是核大小，d是通道数，n数据规模)；

RNN：d是数据维度，全连接

二、位置编码：加入微弱变化让模型识别位置信息

 

 col是每一列，每一列的周期不一样

 一开始周期短变化块，后来越来越慢

 三、总结