Transformer——Q112 分析Performer的随机正交投影（FAVOR+机制）的方差稳定性

该问题归类到Transformer架构问题集——架构变体——高效架构。请参考LLM数学推导——Transformer架构问题集。

1. 问题背景：从 Transformer 困境到 Performer 的突破

Transformer 的注意力机制通过计算序列中所有 token 对的交互来捕捉依赖关系，这使得时间和空间复杂度均达到。当处理长序列（如数千字的文章、多轮长对话历史）时，计算量呈指数级增长，即使用最先进的硬件，也会面临内存溢出和计算耗时过长的问题。Performer 的出现，正是为了打破这一困境。其核心 FAVOR + 机制（Fast Attention Via Orthogonal Random features Plus）通过随机正交投影近似注意力计算，将复杂度锐减至 O(n)。但近似计算可能引发统计特性的波动，如果方差不稳定，模型训练会出现梯度异常（如爆炸或消失），导致难以收敛，生成结果也会忽好忽坏。因此，分析 FAVOR + 的方差稳定性，是理解其在高效计算的同时如何保障模型性能的关键。

2. 技术原理：正交投影为何能稳定方差

FAVOR + 的核心是利用随机正交投影矩阵（满足 ）。假设输入向量为  和 ，