21、神经网络知识编码与架构理解

神经网络知识编码与架构理解

1. 梯度与异常值处理

在图像处理中，梯度是一个重要的概念。例如，在浅色背景下的黑色球会有负梯度，而在深色背景下的白色球会有正梯度。同时，我们会注意到梯度存在一些异常值，即部分像素的梯度值远高于平均值。这种现象并非最近才被发现，它曾被用于生成人类难以察觉的对抗样本。这些极端值可能会导致颜色渐变变得不可靠。

为了提高地图的视觉连贯性，我们可以在很大程度上限制异常值。如果在后期处理中跳过这一步，生成的地图可能会完全变黑。

2. 网络理解

经典的机器学习模型强调基于关键属性和特征来学习输出预测。为了理解模型的行为和学习过程，人们开发了许多可解释性技术，如特征相关矩阵和属性映射。然而，随着计算资源的发展，这种经典方法已经远远落后于当前的最优实践。

与支持向量机（SVM）等经典模型不同，卷积神经网络（CNNs）以原始图像（像素）作为输入。深度神经网络（DNNs）在隐藏层中学习高级特征，这减少了从原始数据中提取特征所需的领域知识。图像或文本经过多次变换和卷积块处理，通过反向传播学习权重和偏差。而SVM模型则基于图像颜色表示、边缘检测器和像素频率域来设计新特征。CNN层越深，编码的特征就越复杂。经过变换的图像信息通过全连接层和非线性激活映射输出，用于分类或预测。

XAI社区推荐了一些模型无关的技术，如局部或部分依赖图。但考虑专门为神经网络开发的可解释性方法有以下三个原因：
1. 神经网络在隐藏层中学习特征和概念，需要专门的工具来揭示它们。
2. 梯度可用于实现从“内部”观察模型的解释方案，比模型无关方法在计算上更有效。
3. 大多数已知方法旨在解释表格数据的模型，而图像和文