人工智能顶会ICLR2023《Re-calibrating Feature Attributions for Model Interpretation》论文解读

1. 引言

有效的模型解释可以帮助我们理解模型的预测依据，从而增强模型的透明度和可信度。此外，准确的特征归因对于模型的调整和优化也至关重要。论文提到，现有的特征归因方法存在理论与实际应用之间的不一致性，这可能影响模型解释的可靠性。因此，提出了新的方法来重新校准特征归因，以解决这一问题。

什么是特征归因方法？

特征归因方法（Feature Attribution Methods）是用于解释机器学习模型，特别是深度学习模型决策过程的一类技术。这些方法的核心目的是确定输入特征对模型输出的贡献程度，以便理解模型是如何基于不同的输入特征做出预测的。

特征归因方法的工作原理：

1. 关联输入与输出：它们通过分析输入特征和模型输出之间的关系来工作。这涉及评估哪些输入特征对模型做出特定决策（如分类或回归）具有最大的影响。

2. 归因分数：方法通常为每个输入特征分配一个“归因分数”，表明该特征对模型做出特定预测的重要性。

3. 可视化解释：归因分数可以用于生成可视化解释，帮助开发者和最终用户理解模型的工作方式。

常见的特征归因方法：

1. 积分梯度（Integrated Gradients, IG）：

   • 适用于深度神经网络。
   • 它通过在模型的输入和一个基线（通常是一个无信息的输入）之间积分来工作。
   • 举例：在图像识别模型中，积分梯度可以用于标识对模型识别特定类别（如“猫”）最重要的像素区域。

2. 梯度乘输入（Gradient*Input, GI）：

   • 计算输入特征的梯度（即对输出的影响程度）并将其乘以输入特征本身。
   • 这种方法简单直接，适用于许多类型的神经网络。
   • 举例：在文本分类任务中，GI可以用来识别哪些单词或短语对模型判断文档类别最重要。

3. LIME（局部可解释模型-不透明预测）：

   • 创建模型局部的简化版本，这些简化版本在模型的一个小的邻域内是可解释的。
   • LIME适用于任何类型的模型，并通过近似来解释模型的行为。
   • 举例：在贷款批准模型中，LIME可以用来解释为什么某个客户的贷款被拒绝，指出了影响决策的关键因素（如信用评分、收入等）。

特征归因方法的应用：

• 提高透明度：帮助开发者和最终用户理解模型的工作原理，特别是在复杂的深度学习模型中。
• 模型调试：通过识别导致错误预测的输入特征，帮助改进模型。
• 公平性和合规性：在敏感领域（如医疗、金融）确保模型的决策不是基于不公平或非法的特征。
• 信任与采纳：通过提供解释，增加用户对模型的信任，促进技术的采纳。

征归因方法的现状以及存在的问题（也是本文中作者解决的问题）

1. 现状：
   • 现有的特征归因方法，如积分梯度（Integrated Gradients, IG）、平滑梯度（SmoothGrad, SG）、梯度乘输入（Gradient*Input, GI）等，旨在解释深度神经网络的决策过程。
   • 这些方法通过分析模型的输入特征对输出的贡献程度来提供可解释性，帮助理解模型的预测行为。
2. 存在的问题：
   • 理论与实际应用的不一致性：现有方法在理论上的处理与实际实现之间存在不一致。这主要是因为在实践中，为了计算方便，常常采用一些近似和简化的假设，这可能导致误差和偏差。
   • 参考点的选择：特征归因方法通常需要选择一个参考点（如一个“基线”输入），这对于归因结果有重要影响。不同的参考点可能导致不同的解释，但现有方法缺乏一种有效的方式来确定最合适的参考点。
   • 插值点的选择：在计算路径积分时，需要选择一系列插值点。如何有效选择这些插值点以获得更准确的特征归因，也是一个挑战。
   • 评估指标的缺乏：评估特征归因方法的有效性缺乏统一和广泛接受的标准，这使得比较不同方法的性能变得困难。

作者的动机

作者开发了一种计算输入的期望参考点的方法，并允许沿着非线性路径从参考点到输入进行梯度积分。通过系统地识别路径上的有效插值点，使得可以直接使用实际归因而非绝对归因进行模型解释。此外，作者还提出了一种有效计算积分的技术，可以使用现有方法所采用的预定义参考点来估计有效参考点。这使得作者能够利用他们的技术重新校准现有方法的归因，而无需额外的计算开销。这些改进使归因方法符合其原始的主张并符合其理论属性的设定，同时在定量评分上也取得了更好的成绩

论文贡献

• 论文提出了一种重新校准特征归因的方法，通过识别合适的参考点和选择有效的插值点，来解决现有方法中的问题。
• 这种新方法不仅能提高特征归因的准确性，还能增加模型解释的可靠性和透明度。

关键概念

路径积分（Path Integration）

路径积分是指在特征归因方法中，计算从一个参考点到实际输入点之间的积分。这种积分旨在量化每个输入特征对模型输出的贡献。

• 例子：假设有一个深度学习模型用于识别图像中的猫。在积分梯度方法中，我们可能会计算从一个全黑的图像（作为参考点）到实际含有猫的图像（实际输入）之间的积分。这个积分过程会逐渐“开启”图像中的像素，量化每个像素对于模型识别“猫”这一输出的贡献。

参考点（Reference Point）

参考点是特征归因方法中的起点，它代表了输入特征的缺失或基线状态。该点被用来与实际输入进行比较，以评估每个特征对模型预测的贡献。

• 例子：在处理图像识别问题时，一个常见的参考点是一张全黑或全白的图像，代表没有任何信息的状态。对于文本数据，参考点可能是一个空字符串或一组空白字符。

插值点（Interpolation Points）

插值点是从参考点到实际输入点之间的一系列点，用于在积分过程中计算路径上的变化。这些点帮助我们理解模型是如何逐渐从参考状态“过渡”到实际输入状态，并对每个特征的贡献进行量化。

• 例子：继续使用图像识别的例子，在从全黑图像（参考点）到含有猫的图像（实际输入）的路径上，插值点可能是一系列逐渐增加像素亮度的图像。每个插值点都稍微比前一个亮一些，这样可以逐步揭示哪些像素对模型识别“猫”最为关键。

本文提出的估计建议归因的方法

1. 选择合适的参考点

• 关键思想：与以往方法不同，新方法不是随机选择或基于简单假设（如零图像、均匀噪声）的参考点，而是系统地识别合适的参考点。这是通过修改输入图像与模型梯度并沿着梯度上升方向优化输入来实现的，从而找到表示特征“缺失”的合适参考点。

2. 非线性路径的积分

• 过程：作者的方法要求沿着非线性路径${\gamma }_i$积分梯度，这与传统方法（如 IG 方法）采用的线性路径不同。

3. 确定插值点

• 方法：关键是确定位于从所选参考点$x^{\prime }$ 到输入 $x$（或相反）的积分路径上的插值点。这些插值点位于相同的输入空间 $R^n$中，并可以系统地识别。

4. 计算所需积分

• 公式：作者使用以下公式来计算特征$x_i$ 的归因$M_{ic}$：
  $$M_{ic}(x,x^{\prime })=(x_i-x_i^{\prime })\times {\int }_{\alpha =0}^1\genfrac{}{}{0ex}{}{}{\partial {\tilde{x}}_i}$$