文章介绍了Lottery Ticket Hypothesis，指出深度神经网络中存在一个稀疏的子网络（winning tickets），该子网络在保持相近推理精度的同时，具有更低的参数量和复杂度。通过特定的剪枝方法和初始化策略，可以找到这个子网络，并且在MNIST和CIFAR10数据集上进行了验证。这一理论对于模型压缩和理解深度学习的内在机制有重要意义。
"The Lottery Ticket Hypothesis Finding Sparse, Trainable Neural Networks" 这篇文章提出了Lottery Ticket Hypothesis，认为较复杂的深度神经网络存在一个比较优化的稀疏子网络结构（称之为winning tickets），可应用于模型压缩。相比于原网络，稀疏子网络的参数量与复杂度要低许多，但推理精度基本相当。Lottery Ticket Hypothesis描述如下：
Lottery Ticket Hypothesis用符号方式描述如下：
其中剪枝获得的子网络从随机初始化开始训练，且初始化数值一一对应地取自原网络的初始化数值集合，即
；另外，子网络训练达到收敛的迭代次数，不超过原网络所需的迭代次数。如果子网络的初始化数值不取自原网络，而是按新的随机初始化方式执行训练，通常不会达到原网络的推理精度，说明剪枝获得的子网络需要合适的初始化状态。子网络（winning ticket）的搜索步骤如下：
最低0.47元/天 解锁文章
扫一扫
918
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
