Transformer——Q96 MoE门控权重 G(x)=softmax(xW_g)的梯度稀疏性证明

最新推荐文章于 2025-12-02 20:45:02 发布

原创

最新推荐文章于 2025-12-02 20:45:02 发布 · 928 阅读

14 ·

CC 4.0 BY-SA版权

文章标签：

#transformer #深度学习 #人工智能 #架构变体 #稀疏/混合专家

该问题归类到Transformer架构问题集——架构变体——稀疏/混合专家。请参考LLM数学推导——Transformer架构问题集。

Q96 MoE 门控权重 $G (x)=softmax (xW_g)$ 梯度稀疏性证明深度解析

1. 问题背景：MoE 门控系统的梯度特性探索

在混合专家模型（Mixture of Experts, MoE）的核心架构中，门控网络通过函数 $G(x)=\text{softmax}(xW_g)$ 生成专家选择概率，实现对输入样本的动态路由。当对门控权重矩阵 $W_g$ 进行梯度计算时，一个关键现象引发关注：仅有被激活专家对应的梯度具有有效值，未激活专家的梯度近乎为零。这种梯度稀疏性是 MoE 实现高效训练的重要基础，但其背后的数学原理与工程价值需要深入剖析。本文将从数学推导、技术实现、实战案例等维度展开，逐层揭示梯度稀疏性的本质规律。

2. 技术原理：门控梯度的数学推导与稀疏性证明

2.1 门控函数的前向传播模型

设门控网络输入为 $x \in \mathbb{R}^d$ ，专家数量为 m，门控权重矩阵 $W_g \in \mathbb{R}^{d \times m}$ 的第 i 列 $W_g^i$ 对应第 i 个专家的门控参数。门控输出 $G(x) \in \mathbb{R}^m$ 是概率向量，其元素定义为：

$G(x)_i = \frac{\exp(x \cdot W_g^i)}{\sum_{j=1}^m \exp(x \cdot W_g^j)}$

该公式通过线性变换 $xW_g$ 生成专家得分，再经 softmax 函数归一化为概率分布，实现 “软选择” 专家的核心功能。当某专家的得分显著高于其他专家时，其选择概率趋近于 1，形成 “激活” 状态；反之则趋近于 0，成为 “未激活” 专家。

2.2 梯度推导的核心数学步骤

我们目标是求解门控输出 $G_i$ 对权重矩阵 $W_g$ 的梯度 $\frac{\partial G_i}{\partial W_g}$ 。首先定义未归一化得分 $s_j = x \cdot W_g^j = \sum_{g=1}^d x_g w_{gj}$ ，其中 $w_{gj}$ 表示第 g 个输入维度与第 j 个专家的连接权重。根据 softmax 函数的导数性质：