1. Dropout 的基本概念
Dropout 通过在训练神经网络的每次前向传播中,以一定概率 p p p(称为 Dropout rate)将部分神经元的输出设为 0 来实现“丢弃”。这意味着在训练的每一步中,网络会随机选择一部分神经元不参与计算,从而强制网络学习更加鲁棒和泛化的特征。
Dropout 的核心思想是打破神经元之间的共适应性(co-adaptation),即防止某些神经元过于依赖其他特定神经元的输出。通过随机丢弃,网络被迫学习多个独立的特征表示,而不是依赖于特定的神经元组合。
2. Dr