5、深度神经网络分类性能的紧凑可视化：解释与改进

深度神经网络分类性能的紧凑可视化：解释与改进

1. 引言

深度学习方法在众多场景中广泛应用，且通常优于传统方法，尤其在分类问题上表现出色。即便训练数据集规模不足以训练深度神经网络（DNNs），也可通过迁移学习，如微调预训练的DNN，或提取特征并将其输入到传统分类器中。DNN可由图表示，其中节点代表模型的计算块（即层），节点连接表示各块输出在网络其余部分的处理方式。这些块执行在模型构建时定义的简单函数，其参数（即权重）在模型训练阶段确定。

然而，DNN的黑盒性质是一大难题。尽管每个块在数学上易于理解，但其行为主要取决于训练数据对学习权重的影响，因此难以知晓这些块具体进行了何种处理及原因。不过，普遍认为模型的前几层提取低级特征，而最后几层提取特定于应用问题的高级特征。

为打开这个黑盒，有两种非排他性策略：一是可解释深度学习，强调DNN架构的可解释性，虽可能影响性能；二是可解释深度学习，通过计算更易解释的模型、计算显著信息或使用信息可视化技术从测试模型中提取信息。理解训练网络的分类过程，有助于了解哪些数据类更易分类，以及网络在哪些方面可进一步改进。

本文提出一种基于信息可视化技术的可解释深度学习新方法，旨在可视化DNN的渐进分类过程，分析数据集所有输入样本在网络各部分的整体处理情况。该方法的独特之处在于关注所有样本和完整架构，具有节省屏幕空间、适用于任何可表示为有向无环图的网络，以及对输入数据、内部块和最终结果使用相同编码等优点。

2. 相关工作

2.1 深度神经网络可视化

• 单样本可视化方法 ：GradCam通过计算从目标类模型输出到最后卷积层的梯