20、侧信道分析中神经网络的可解释性探索

侧信道分析中神经网络的可解释性探索

1. 引言

在侧信道分析领域，近年来机器学习尤其是深度学习技术成为了有针对性攻击的标准选择，其表现出色，甚至能攻破受防护的目标。然而，除了提升攻击性能，理解和解释机器学习过程及其产生的模型这一可解释性问题，依然是机器学习研究中的难题，远未得到解决。

可解释性的一个方面是表示学习，即理解为何某种问题表示优于其他表示。通过理解这一点，我们能选择更优的表示，使后续学习问题更易解决。在侧信道分析领域，由于存在对抗措施和可移植性等独特挑战，考虑不同类型的数据（如受保护与未受保护的实现、不同设备的数据）十分重要。本文运用奇异向量典型相关分析（SVCCA）技术，研究多层感知器和卷积神经网络这两种常见神经网络学习到的内部表示，旨在从神经网络的隐藏层获取有用信息。

2. 背景知识

2.1 多层感知器和卷积神经网络

• 多层感知器（MLP） ：是一种前馈神经网络，将输入集映射到合适的输出集。它由多个层（一个输入层、一个输出层和至少一个隐藏层）组成，各层节点在有向图中完全连接，通过反向传播算法进行训练。
• 卷积神经网络（CNNs） ：与普通神经网络（如多层感知器）类似，由多个层组成，每层包含神经元。主要使用卷积层、池化层和全连接层三种类型的层。

2.2 神经网络比较与SVCCA方法

Raghu等人提出了奇异向量典型相关分析（SVCCA），用于基于神经元的激活输出来比较网络中的两层。该方法能以对仿射变换不变的方式比较两个神经网络学习到的表示，且计算速度快。