【论文阅读】LIME概要及代码案例

论文概要

LIME

LIME (Local Interpretable Model-agnostic Explanations)：一种新颖的解释技术，通过在预测周围局部学习一个可解释模型，以一种可解释的和可信赖的方法来解释任何分类器的预测。主要贡献总结如下：

• LIME：一种通过用可解释性模型对预测进行局部近似，以一种可信赖的方式对于任何分类器或回归器预测进行解释的算法。
• SP-LIME：该方法通过子模块优化，选择一组具有解释的代表性实例来解决“模型信任”问题。

Algorithmic process analysis

假设建立一个大眼仔与树蛙的分类器$f(x)$，若想直接解释这个模型为什么这样分类是非常困难的。
LIME提供了一个局部解释的思路：选取一个被解释实例（下图中星星-玩具树蛙），并用简单的线性回归模型来拟合决策边界，从而解释模型$f(x)$在这条边界上是如何做决策的。

LIME算法过程

Step1：将数据分割成小区块，随机扰动被解释实例的小区块产生新样本，喂入模型$f(x)$预测结果。

将玩具树蛙的图片喂入模型$f(x)$预测出为树蛙的概率为$0.54$。为了了解该模型所做的决策，将此图片根据 超像素分割算法 切分成$M$个$\text{Super Pixel }(S{P}_1,S{P}_2,\dots ,S{P}_M)$。

注：$x_i^{\prime }=S{P}_i$，每个$\text{Super Pixel}$均有两个取值：0表示该块超像素被灰色覆盖；1表示该块超像素为原图块（刚划分好时，每个$x_i^{\prime }=1$，表示每个超像素块均为原始图块）。$z^{\prime }$随机扰动$x^{\prime }$，使$\text{Super Pixel}$的值随机指派为0或1。
根据上述可知，共有$M$个$x_i^{\prime }$，而通过扰动，每个$z_i^{\prime }$具有两种取值。通过将$M$个$z_i^{\prime }$随机指派为0或1，可以得到新的扰动样本$z$，从而可到新的扰动数据集$\mathcal{Z}$。（具体理解见代码案例）
将扰动数据集$\mathcal{Z}$喂入分类模型$f(\cdot )$中，就能得出结果$y$（这里$y$表示是树蛙的概率），从而了解到新数据集在分类模型的分布状况。

Step2：根据样本相似度（例如特征距离）给予样本权重。

利用核函数（kernel function）来计算新扰动样本$z$与被解释实例$x$的相似程度，与被解释实例越相似（越近）给与较大的权重，越不相似（越远）则给予较小的权重。

Step3：根据扰动样本训练一个简单的线性回归模型$g(z^{\prime })$，并根据模型的系数解释实例。

如下图，可以理解模型会将玩具树蛙的照片判断为树蛙的原因，主要是因为玩具树蛙的头部特征。

**注：**对于结构性数据也是以上三个步骤，进行数据扰动（扰动的方式则是随机选择特征进行扰动）$\to$定义相似度$\to$训练简单可解释的模型。

Local Interpretable Model-agnostic Explanations