彩票假设（Lottery Ticket Hypothesis, LTH）是什么？

彩票假设（Lottery Ticket Hypothesis, LTH）是什么？

彩票假设（LTH） 是2019年由Jonathan Frankle和Michael Carbin提出的深度学习理论，核心观点是：
“随机初始化的神经网络中存在一个稀疏子网络（‘中奖票’），其初始权重已具备足够潜力。若单独训练该子网络（重置其权重为初始值），性能可与原始完整网络相当，甚至超越。”
其核心逻辑是：神经网络的过参数化中隐含了高效的稀疏结构，无需依赖完整网络的训练，只需通过剪枝和重训练即可激活这些“天生优秀”的子网络。

LTH的关键步骤（以图像分类为例）

1. 训练原始网络：
   先训练一个完整的神经网络（如ConvNet），直到收敛（例如在CIFAR-10上达到90%准确率）。

2. 剪枝冗余权重：
   根据权重绝对值（或梯度等指标）排序，删除不重要的权重（如剪掉90%参数），保留的权重构成稀疏子网络（“候选彩票”）。

3. 重置保留权重：
   将保留的权重值重置为初始随机值（而非保留训练后的权重），仅保留连接结构（即“掩模”）。

4. 独立训练子网络：