Transformer——Q117 推导二进制Transformer的量化训练梯度修正公式

 该问题归类到Transformer架构问题集——架构变体——高效架构。请参考LLM数学推导——Transformer架构问题集。

1. 问题背景：当 Transformer 遭遇 “内存与速度之困”

在大语言模型（LLM）的世界里，Transformer 架构如同巍峨的巨人，GPT-3、LLaMA 等模型动辄拥有数十亿甚至上万亿参数。然而，这些庞大的模型在享受强大性能的同时，也面临着内存占用高和计算速度慢的双重困境。想象一下，普通的 Transformer 模型使用 32 位浮点数存储参数，一个 10 亿参数的模型就需要近 4GB 内存，更不用说推理时的计算开销。这就好比驾驶一辆装满砖块的重型卡车，虽然能运输大量货物，但行驶缓慢且耗油。

二进制 Transformer应运而生，它通过将模型参数和计算过程量化为二进制（仅用 0 和 1 表示），大幅压缩模型体积并加速计算。但量化带来了新的挑战：二进制数据的离散特性导致传统的梯度计算方法失效。因此，推导量化训练梯度修正公式成为让二进制 Transformer “跑起来” 的关键，这一过程就像为 “瘦身” 后的模型重新校准 “神经信号”，使其在保持高效的同时不迷失方向。

2. 技术原理：从连续到离散的 “数学手术”

传统 Transformer 的参数（如注意力层的权重矩阵、FFN 的线性层参数）是连续的浮点数，而二进制 Transformer 将这些参数强制约束为 - 1 和 1（等效于 0 和 1）。这种转换看似简单，却彻底改变了模型的训练逻辑。

2.1 二进制量化的基本操