18、神经网络剖析框架：解读卷积神经网络的层与单元

神经网络剖析框架：解读卷积神经网络的层与单元

1. 网络剖析框架概述

在网络剖析框架中，拥有带标签概念的数据集是最为重要的一步，同时也是最耗时且成本最高的一步。后续我们将从可解释性的角度来认识这个数据集的价值。

2. 网络探测

当你拥有了一个带有视觉概念标签的数据集后，下一步就是对预训练的神经网络进行探测，以了解网络对这些概念的响应情况。

2.1 简单深度神经网络的探测原理

对于简单的深度神经网络，其结构通常是从输入层到输出层，单元数量逐渐减少。网络的中间层会学习输入数据的表示，记为 R。我们希望通过量化表示 R 与我们关注的查询概念 Q 之间的映射关系，来更好地理解网络。这种从表示 R 到查询概念 Q 的映射被称为计算模型，在图中用 f 表示。

2.2 卷积神经网络（CNN）的探测步骤

以探测 CNN 的第 4 层为例，具体步骤如下：
1. 前向传播 ：将一张狗的图像通过 CNN 进行前向传播，此时 CNN 的权重是冻结的，无需进行训练和反向传播。
2. 选择探测层 ：选择要探测的卷积层，这里选择第 4 层。
3. 获取激活图 ：前向传播后，从该层获取输出特征图或激活图。一般来说，随着在 CNN 中深入，激活图的尺寸会减小。
4. 上采样 ：为了将激活图与输入图像中的标签概念进行比较，需要将低分辨率的激活图上采样到与输入图像相同的分辨率，形成 CNN 中第 4 卷积层的表示 R。
5. <