weixin_43954090的博客

业务理解能力爆表，指令遵循能力极强，才32b成本极低，大量的公司的项目可以嵌入到自己的项目当中了，再fineture一下，以后不上AI的系统都卖不出去了。

如果我们熟悉自注意力的话，就会发现Q和K矩阵结合的时候，会有一个长度为句子长度的权重矩阵，假如有句子abc，求abc的注意力权重矩阵的话，那就是一个3*3的矩阵如下矩阵。我们假设了句子长度为3，那么V矩阵肯定也是宽为3，因为有三个词汇痲，长度为n的矩阵，假设n为5，每一行都是一个词向量。如下图直接使用矩阵乘法将这两个矩阵相称即可，得到一个一样的矩阵，这就是新的词向量。为什么使用矩阵乘法相乘就可以了呢，意义在哪里？意义：原来的abc词向量就是对应上面每一行，自注意之后变成新的词向量为a1b2b3。