22、深度学习中的剪枝技术在侧信道分析与手势认证中的应用

深度学习中的剪枝技术在侧信道分析与手势认证中的应用

随机密钥的ASCAD数据集实验

在随机密钥的ASCAD数据集实验中，研究人员对不同数量的分析轨迹（60,000、100,000和200,000）在六种不同的基线模型（MLP4、MLP6、MLP8、CNN3、CNN4和CNN4 - 2）上应用了彩票票假设（LTH）程序。

对于MLP4模型，它有四个密集层，可视为小模型。当分析轨迹数量较多（超过100,000）时，该模型足以破解ASCAD数据集，基线模型的猜测熵结果能体现这一点。但当分析轨迹数量减少到60,000时，经过300个训练周期的基线模型由于过拟合，猜测熵结果变差。而对MLP4基线模型应用LTH过程，即使分析轨迹数量减少，也能取得良好效果。例如，即使只修剪1%的权重，也能对模型进行正则化，并获得成功的攻击结果，且修剪后的模型训练周期更少，进一步减少了过拟合。

对于MLP6和MLP8等容量更大的MLP模型，过小的分析集会导致基线模型过拟合，而修剪方法能轻松解决这个问题。随机初始化的效果总是比LTH初始化差，且由于过程中的随机性，表现更不稳定。在图10中，修剪后随机初始化的变化非常显著，这证实了LTH在分析侧信道分析（SCA）环境中是有效的。如图9所示，当使用LTH过程初始化权重时，从基线模型中修剪约90%的权重可实现成功攻击。

然而，比较图9和图10可以发现，较大的基线模型在应用LTH程序时往往效果不佳。较大的基线模型更容易对训练数据过拟合，因此修剪过程可能应用于一个已经过拟合的模型。解决这个问题的方法是在基线模型训练时考虑提前停止，即在基线模型权重达到最佳训练周期时进行修剪。例如，图10c中，基线模型（MLP8）在200,000条分析轨迹上训练300个周期