胖胖大海的博客

其中，全连接层和根据注意力权重的加权求和其实都是通过矩阵乘法实现的，所以分块计算可以通过矩阵的分块乘法来实现。由于softmax的分母部分需要计算全局元素的求和，分块之后只能计算局部的和，导致softmax的分块计算变得复杂。现在softmax的分母已经被更新成了全局的结果，现在就要把分子也更新成全局的结果就行了。关于第 6 步的公式是怎么得到的，我们把第 6 步的公式拆解为两部分，现在我们计算到了第二块数据。，继续迭代下去，直到完成所有数据块的计算，这样就得到了全局的softmax结果。

所以，一个Transformer Block中总的乘法运算量是：HW * C1 * C2 + HW * C1 * C2 + HW * C1 * C1 + HW * HW * C2 + HW * HW * C1 + HW * C1 * C1。为了简单起见，假设C1 = C2 = C，那么总的乘法运算量是：4 * HW * C * C + 2 * HW * HW * C。备注：上述计算过程不包含Layer Nor和Softmax。备注：C1可以不等于C2。备注：C1可以不等于C2。

关于Transformer架构和原理解析的优秀文章有好多，这里列出一些供大家参考学习。本篇也就不对Transformer的结构和原理进行解读了（肯定没他们解读的好）。上述参考文献足以让一个初学者完全了解transformer的架构及原理了。本文从代码实现的角度来看一下transformer的核心架构中的每个模块的具体实现方式，希望以此能对transformer架构有更深入的了解。本文参考的实现代码来自于。