20、深度学习侧信道分析中的彩票假说：优化神经网络性能

深度学习侧信道分析中的彩票假说：优化神经网络性能

1. 侧信道分析概述

侧信道分析（SCA）是一种利用电子设备信息泄漏源的攻击方法。常见的侧信道包括时序、功耗和电磁辐射。根据攻击者的能力，SCA可分为非轮廓攻击和轮廓攻击。非轮廓攻击假设较少，但通常需要大量测量才能破解目标，特别是在目标采用了防护措施的情况下。而轮廓攻击被认为是最强的攻击方式之一，攻击者可以控制一个克隆设备来构建其完整轮廓，通过参数统计模型来恢复秘密信息。

SCA的发展历程可分为几个阶段：
- 第一阶段 ：采用（合并）模板攻击或随机模型等技术，显著提高了攻击性能。
- 第二阶段 ：转向机器学习，众多结果表明机器学习能超越其他轮廓SCA方法。
- 第三阶段 ：聚焦于深度学习技术。深度学习在破解受防护目标方面表现出色，且无需特征选择或降维等预处理步骤。然而，目前仍存在知识空白，例如如何系统地找到能破解各种目标的神经网络。

2. 神经网络面临的挑战

当前寻找表现良好的神经网络面临诸多困难。小神经网络易于调整且不易过拟合，但可能无法有效建模数据；大神经网络虽有足够的容量，但容易过拟合，且调整难度大。目前主要通过定义超参数的适度和最优范围来寻找更好的超参数，但这会导致搜索空间巨大且耗时。

3. 修剪与彩票假说

为解决上述问题，提出了修剪策略和彩票假说（LTH）。修剪是一种系统地从神经网络中移除参数的技术，常用于表现良好的大型神经网络，目的是生成性能相似但规模更小的网络，以部署在内存受限的设备上，同时也是一种廉价的正则