Explainable AI（李宏毅）机器学习 2023 Spring HW9 （Boss baseline）-优快云博客

本文链接：https://blog.youkuaiyun.com/m0_66773231/article/details/144993335

1 可解释性人工智能

深度学习模型以强大的预测能力著称，但其“黑箱”特性导致难以解释决策的原因。例如，自动驾驶汽车的急刹行为、银行的贷款决策或医疗诊断的依据，若无法解释，将引发信任和伦理问题。

可解释性人工智能（XAI）旨在让机器学习模型不仅能够给出预测结果，还能提供生成结果的理由。随着模型在金融、医疗、法律和自动驾驶等关键领域的应用，模型的“可解释性”成为必需。理解模型背后的逻辑有助于提高信任度、确保公正性，并满足法律法规要求。通过提升模型的解释能力，不仅可以增强可靠性，还能帮助改进模型性能。

可解释性机器学习可以被分成两类，第一类叫做局部解释，第二类叫做全局解释。

local and global explanation (source: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/xai_v4.pdf)

局部解释可以这样理解：设想有一个图像分类器，当你向它展示一张图片时，它能够识别并判定那是一只猫。此时，若要求机器解释为何它认为这张图片描绘的是猫，这种基于特定图片给出的理由或依据，就被称为局部解释。相应地，还存在另一种类型的解释，即全局解释。全局解释不涉及向分类器展示具体图片，而是直接询问分类器本身：根据它的定义或标准，什么样的图片会被归类为猫。这里，我们并不聚焦于任何一张特定的图片进行分析，而是旨在探究模型内部参数所理解或定义的“猫”的概念，即这些参数是如何认知并界定一张图片为猫的。

1.1 可解释性机器学习中的局部解释

我们可以将输入数据细分为多个组成部分（components），对于图像而言，这些组成部分可以是像素（pixels）或图像片段（segments）；而对于文本，则对应于单词（words）。接着，我们通过移除或修改这些组成部分，来观察推理（inference）结果所发生的变化，进而识别出对结果具有重要影响的关键组成部分（importantcomponents）。

important component (source: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/xai_v4.pdf)

或者我们也可以使用saliency map， Saliency Map 通过计算输入（如图片）对模型输出的偏导数，显示哪些输入区域对模型的预测影响最大。偏导数值越大，表示该区域对模型预测的贡献越大。

saliency map (source: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/xai_v4.pdf)

有时候saliency map受噪声影响很大，Smooth Grad 可以作为 Saliency Map 的改进方法，旨在通过对噪声的平滑处理提高解释结果的稳定性和清晰度。对多组扰动样本的梯度取均值，生成平滑的 Saliency Map。

$\text{SmoothGrad} = \frac{1}{N} \sum_{i=1}^N \nabla_x f(x + \epsilon_i) \\$

smooth grad (source: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/xai_v4.pdf)

有时候gradient不能总是反映component的重要性，integrated gradient 是一个优化的解决办法。选择一个与输入图片相似但无意义的参考图片（如全黑或全灰图片）作为基线，通过沿输入与基线（baseline）之间的路径累积梯度，估算输入各部分对模型输出的贡献。

首先在基线与输入图片之间生成线性插值的图片序列。

$x_i = x_{\text{baseline}} + \frac{i}{n} \cdot (x_{\text{input}} - x_{\text{baseline}}) \\$

对每个插值样本计算梯度。然后沿插值路径累积梯度值，得到每个像素的积分梯度。

$\text{IntegratedGradient} = (x_{\text{input}} - x_{\text{baseline}}) \cdot \int_{\alpha=0}^{1} \nabla_x f(x_{\text{baseline}} + \alpha \cdot (x_{\text{input}} - x_{\text{baseline}})) \, d\alpha \\$

integrated gradient (source: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/xai_v4.pdf)

1.2 可解释性机器学习中的全局解释

拿数字识别举例，假设我们训练了一个卷积神经网络分类器，并生成一张理想的图片，使其对某个数字来讲输出的概率最高，很多时候是行不通的，我们获得的是完全杂乱的图片。

global explaination (source: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/xai_v4.pdf)

这时我们可能要在原来的优化函数里加入一个正则项，它的作用是让输入的图片更像是一个我们人类认识中的数字。这个正则项可以是很多种形式，比如说我们可以是输入图片的像素值的平方和，也就是说我们希望输入图片里面的每一个像素值都不要太大。

global explaination with regulation factors (source: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/xai_v4.pdf)

为了通过全局解释性更清晰地观察模型的特征，我们可以借助图像生成器。首先，通过生成模型（如 GAN 或 VAE）训练一个图像生成器 $G$ ，使其能够将低维向量 $z$ 转换为生成图片 $X$ （即 $X=G(z)$ ）。随后，将生成器与图像分类器结合，输入向量 $z$ 生成图片 $X$ ，并通过分类器输出预测结果 $y$ 。为了探索分类器对某一类别的特征偏好，对输入向量 z 进行优化，使得生成图片 $X$ 在分类器中对应目标类别的分数尽可能高。最终，通过生成的最优图片 $X^*$ ，可以直观地观察分类器对该类别的特征偏好。这种方法不仅提升了深度学习模型的可解释性，还为分类器的决策依据提供了更清晰的视觉化表现。

constraint from generator (source: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/xai_v4.pdf)

2 Assignment

Homework 9 - Explainable AI (Part 1 CNN)

Lime (Q1~4)

Lime is a package about explaining what machine learning classifiers are doing. We can first use it to observe the model.

input

Q1 Lime

0.3 分数请问 Lime 套件是如何找出图片各个部分对于物件辨识模型的相关性？ How does the Lime package discover the correlation between each part of the picture with the model's judgment?

根据 Loss 对图片的偏微分值 / According to the partial differential value of the loss to the picture
将图片切成小块观察模型判断的变化 / Slice the pictures into small components to observe the difference in the model's judgment
加入 noise 观察输出结果的改变 / Adding noise to observe the difference in the outputs of the model
根据图片中各个部分的颜色 / According to the colors in each part of the picture

Q2 Lime

0.3 分数请观察图片编号 2，包含了中央的牛奶瓶与左下角的草莓 (不带茎)。在使用 Lime 套件之后的结果中，请问图片中的这两部分怎影响 model 做出分类？ Please observe picture number 2, which contains the milk bottle in the center and the strawberry (without stem) in the lower - left corner. In the results after using the Lime package, how do these two parts of the picture affect the classification of the model?

中央的牛奶瓶为主要的负相关 / The milk bottle in the center is the main negative correlation
中央的牛奶瓶为主要的正相关 / The milk bottle in the center is the main positive correlation
左下角的草莓为主要的负相关 / The strawberry in the lower - left corner is the main negative correlation