Transformer——Q108 验证多模态融合层的模态丢弃（Modality Dropout）正则化效果

该问题归类到Transformer架构问题集——架构变体——跨模态扩展。请参考LLM数学推导——Transformer架构问题集。

1 问题背景：当多模态模型需要「抗干扰训练」

多模态融合层负责整合图像、文本、音频等不同模态的特征，但实际训练中常出现「模态依赖偏差」—— 模型过度依赖某一主导模态（如图像清晰时忽略文本描述），导致泛化能力下降。** 模态丢弃（Modality Dropout）** 通过随机丢弃部分模态输入，强制模型学习跨模态互补信息，成为缓解过拟合的关键正则化技术。它如何在不损失模态信息的前提下提升模型鲁棒性？背后的数学原理和实战效果又如何？

2 技术原理：从模态依赖到正则化的因果推导

2.1 模态丢弃的核心机制

模态丢弃在融合层以概率 p 随机「屏蔽」某个模态的输入，迫使模型在训练时适应模态缺失场景。假设输入模态集合为 ，融合层输出 F 的计算过程为：