Transformer——Q103 推导专家噪声（Expert Noise）对模型鲁棒性的影响

该问题归类到Transformer架构问题集——架构变体——稀疏/混合专家。请参考LLM数学推导——Transformer架构问题集。

1. 问题背景：当专家 “说话带口音” 时，模型能否听懂？

在混合专家模型（MoE）的复杂系统中，每个专家如同领域内的 “权威讲师”，负责向模型传授特定知识。但现实中，“讲师” 的 “表达” 可能存在偏差 —— 比如专家参数因训练数据噪声产生扰动，或输入数据被污染后导致专家输出异常，这些统称为专家噪声。例如，在医疗诊断 MoE 中，某个疾病专家的参数被微小扰动，可能导致癌症筛查结果出现 10% 的误判；在翻译模型中，输入文本的少量字符错误可能触发错误专家，使翻译流畅度下降 20%。

专家噪声对模型鲁棒性的影响并非简单的 “干扰”，而是涉及噪声在专家网络中的传播机制、门控系统的容错能力以及模型整体的抗干扰设计。理解这种影响的数学本质，是打造 “抗噪型” MoE 的关键。我们可以将其类比为：在一场国际会议中，翻译专家的 “口音”（参数噪声）或参会者的 “方言”（输入噪声）可能导致信息传递失真，而模型需要具备过滤杂音、准确理解的能力。

2. 技术原理：噪声如何在专家网络中 “兴风作浪”

2.1 专家噪声的数学建模：噪声的两种面孔

假设专家网络为，噪声如同潜入系统的 “破坏者”，主要分为两类：

2.1.1 参数噪声（Parameter Noise）：专家 “口音” 的源头

• 物理意义：是专家的 “知识储备”，控制噪声强度（如 0.01 表示 1% 的参数扰动），是服从标准正态分布的随机噪声。这模拟了训练中的两种真实场景：

1. 梯度更新误差：优化器迭代时的随机梯度波动导致参数更新偏离理想值
2. 量化噪声：模型部署时 FP32 参数压缩为 FP16/INT8 引入的舍入误差

• 实例：语音识别专家的参数被扰动后，可能将 “晴天” 误判为 “情天”，因为关键语音特征的权重发生微小偏移

2.1.2 输入噪声（Input Noise）：数据 “方言” 的干扰

• 物理意义：x是干净输入，控制噪声幅度（如 0.1 表示输入特征有 10% 的维度被随机扰动），是均匀分布的随机噪声。典型场景包括：

1. 数据采集噪声：OCR 识别时的字符错误（“机器学习”→“机器李习”）
2. 传输噪声：语音信号在嘈杂环境中采集时的高频干扰

• 实例：翻译模型输入 “hello” 被扰动为 “h3llo”，可能触发拼写检查专家而非翻译专家，导致译文偏离

2.2 噪声传播的前向机制：扰动的 “蝴蝶效应”

专家输出被噪声污染后变为：