4、可解释深度学习：概念、方法与新进展

可解释深度学习：概念、方法与新进展

1. 基于传播的方法

基于传播的方法为计算解释提供了一个高效的框架，以层积相关性传播（LRP）为例，它与相关定义相符。LRP不使用梯度，因此不会受到梯度破碎问题的影响，还满足连续性属性，并且能够计算带符号的解释。其中，正相关性表示对预测的支持证据，负相关性则代表与预测相矛盾的信息。

不过，这类可解释人工智能（XAI）方法也有代价，它需要了解模型的内部结构，且重新分配规则依赖于层类型，这使得将这些方法应用于非神经网络机器学习模型时，实现和应用变得复杂。幸运的是，现在已经有了高效的工具包，还有通用的“神经化技巧”，可将这些方法应用于神经网络分类器之外的场景。

2. 其他类型的XAI方法

2.1 谱相关性分析（SpRAy）方法

SpRAy方法旨在通过聚类从一组个体解释中找到模型的共同模式，即原型决策策略。它对由扰动、梯度、代理或基于传播的XAI算法计算出的预处理（如模糊和标准化）热图应用谱聚类。通过特征值谱中的间隙，可以识别代表不同预测策略的不同聚类数量。此外，还可以使用tSNE等低维嵌入方法对聚类进行可视化。这种对解释模式的全数据集分析有助于发现模型的缺陷行为并进行调试。而且，这种聚类不一定在输入空间解释上进行，也可以在隐藏表示（特征空间）上进行，特征空间编码了更抽象的概念，对输入的平移、缩放和其他变换更具不变性。

2.2 非归因型XAI技术

• 网络解剖方法 ：该方法可识别编码特定涌现概念（如对象部分、材料或颜色）的神经元。
• 概念激活向量测试（TCAV）