Transformer——Q136 推导Dropout的期望方差补偿公式

该问题归类到Transformer架构问题集——训练与优化——正则化与初始化。请参考LLM数学推导——Transformer架构问题集。

1. 问题背景或来源

在深度学习的模型训练过程中，过拟合是一个常见且亟待解决的问题。对于大语言模型（LLM）这类复杂的神经网络，因其参数众多、表达能力强，极易对训练数据过度拟合，从而导致在测试集或实际应用场景中的泛化性能不佳。

Dropout 作为一种有效的正则化技术，由 Hinton 等人于 2012 年提出。其核心思想是在训练阶段以一定概率随机 “丢弃” 神经网络中的神经元，借此打破神经元之间的共适应性，避免模型过度依赖某些特定的神经元连接，进而增强模型的泛化能力。

然而，Dropout 在训练和测试阶段的行为存在差异：训练时随机丢弃神经元，测试时则使用全部神经元。这种差异会导致模型在两个阶段的输出特性（如期望和方差）不一致。为确保模型在训练和测试阶段的输出表现稳定，避免因特性差异带来的性能问题，就需要对 Dropout 后的输出进行期望方差补偿，这便引出了 Dropout 期望方差补偿公式的推导。

2. 技术原理或数学理论解析

2.1 Dropout 原理

设神经网络某一层的输入为向量 ，输出为 y。在执行 Dropout 操作时，会生成一个与 x 维度相同的随机掩码向量