19、可解释深度学习AI中的剪枝与模型选择

可解释深度学习AI中的剪枝与模型选择

1. 剪枝后修剪滤波器相似度的变化

在剪枝过程中，修剪滤波器相似度会发生变化。存在一些具有高修剪滤波器相似度的可识别类组G，并且类之间的高修剪滤波器相似度往往意味着高语义相似度。在较小的剪枝率（θ ∈{0.05,0.1}）下，分类准确率得到提高的类比未提高的类具有更多语义相关的邻居（SRN）。

基于此，我们假设在小的θ值下，剪枝增加最近SRN数量的类更有可能提高分类准确率。并且，在较低的θ值下，剪枝提高准确率的类比剪枝降低准确率的类具有更少的语义不相关邻居（SUN）。

为了验证这一假设，我们通过实验确定随着θ的增加，准确率提高和未提高的类的语义邻居之间的修剪滤波器相似度如何变化。

1.1 计算方法

设$p^θ_c$是一个向量，包含类$c$与其在θ下的$k$个最近邻居$K$（$k = 5$）之间的修剪滤波器相似度。为了便于可视化，在本章其余部分将$p^θ_c$表示为$p^θ$。

为了确定修剪滤波器相似度的变化，我们使用以下公式计算类$c_i ∈C$在$p^{θ_t}$和$p^{θ_{t - 1}}$之间的元素级差异（$\Delta$），其中$θ_t$和$θ_{t - 1}$分别表示当前和先前的剪枝率：
- 对于语义相关邻居（SRN）的修剪滤波器相似度梯度$\Delta_{SRN}$：
$\Delta_{SRN}(p^{θ_t},p^{θ_{t - 1}}) = \frac{1}{k’} \sum_{j = 1}^{k} g(S(c_i,c_j))f (p^{θ_t} j - p^{θ {t - 1}} j)$
其中$f