transformer学习总结

1、多头注意力（MHA）多头体现在什么地方？？

通过Embeeding后把文本进行分词并进行向量化表示为高纬度信息后，列入128维，每个维度代表词向量不同的特征。通过把高纬的分开为多头分别进行训练，能够使不同的头独立训练出关注不同特征的语义。128维通过多头分为4维，每个头32维进行独立训练然后再合并可以使训练关注的语义更加多样。苹果这个词，可以一个头关注形状、一个头关注颜色、一个头关注气味、一个头关注用途等。

2、为什么用kv缓存？？

transformer生成采用自回归模型，初始输入和先生成的数据作为后继的输入，在进行编码或者解码时每次用到的之前词的K、V都是相同的，不需要再每次都经过矩阵计算。可以把先前词的K、V存储起来，每次新生成当前词的Q和先前词的已经缓存的K、V进行计算。解决了推理过程中速度慢的问题，是一种时间换空间的思路。

3、为什么说多查询注意力（MQA）会导致推理精度的损失？

因为多头注意力的多头是每个头单独进行独立训练的。MQA多个头每层共享缓存了同一套K、V，但是完美理想的模型多个头的K、V是不同的，共享缓存一套K、V会导致模型精度下降。收益是推理速度变快。

4、模型的W_Q、W_k、W_V权重矩阵是怎么得到的？？

初始化训练模型时进行初始化，训练时通过反向传播进行自动调整参数，最终进行学习得到结果矩阵。

5、每一次多头注意力训练的W_Q、W_k、W_V权重矩阵是不同的。