SmileFea的博客

原创 大模型开发基础知识之自注意力机制和多头注意力机制及其代码实现

自注意力机制（Self-Attention Mechanism ）：找到自注意力机制通过引入概念来实现序列中各元素之间的信息交互和依赖建模。# 计算原始的注意力得分# 注意力得分归一化# 加权求和获取注意力后的结果多头注意力机制多头注意力机制的核心思想是，将注意力机制中的 Q、K、V 分成多个头，注意力结果，然后将所有头的输出拼接起来，最后通过一个线性变换得到最终的输出。# 随机生成自注意力机制的Query映射的权重矩阵# 随机生成自注意力机制的Key映射的权重矩阵。