28、机器学习模型可解释性与无代码计算机视觉应用

机器学习模型可解释性与无代码计算机视觉应用

1. 机器学习训练追溯：支持者与反对者

在模型部署后对其预测进行解释是常见的可解释性方法。不过，谷歌研究人员提出了一种名为Tracin的方法，可用于解释模型在训练过程中对训练示例的行为。

其基本思路是选取单个训练示例（如y轴左侧的西葫芦图像），观察权重更新时该训练示例损失的变化。Tracin能识别出导致单个训练示例预测类别变化或损失方向改变的训练示例。使损失降低（即改善预测）的示例称为支持者，使损失增加的示例称为反对者。通常，反对者是属于其他类别的相似图像，支持者是与所选训练示例属于同一类别的相似图像，但误标记的示例和异常值可能是例外。

2. 添加可解释性

由于图像可解释性与单个预测相关，建议使用能对每个预测执行一种或多种可解释性技术的机器学习部署平台。可解释性方法计算成本高，能分布式扩展计算的部署平台可提高预测分析效率。

这里将展示如何使用集成梯度（Integrated Gradients，IG）和xRAI从部署在Google Cloud的Vertex AI上的模型获取解释。同时，Azure ML和Amazon SageMaker Clarify支持SHAP方法，尽管语法略有不同，但概念上使用方式相似。

2.1 可解释性签名

可解释性方法需要使用原始图像的扰动版本调用模型。假设花卉模型有如下导出签名：

@tf.function(input_signature=[tf.TensorSpec([None,], dtype=tf.string)])
def predict_