12、机器学习模型可解释性技术：SHAP与Anchors详解

机器学习模型可解释性技术：SHAP与Anchors详解

1. SHAP技术概述

SHAP（SHapley Additive exPlanations）由Scott M. Lundberg和Su - In Lee在2017年提出，它将LIME（局部可解释模型无关解释）和博弈论的思想相结合，在解释的准确性上比LIME提供了更多的数学保证。

在模型可解释性的背景下，合作博弈就是模型及其预测结果。模型的输入特征相当于玩家，特征的组合相当于玩家联盟，Shapley值可用于量化特征及其交互对模型预测的影响。

2. SHAP的工作流程

• 选择实例 ：首先选择一个要解释的实例，该实例由所有特征的组合构成。当所有特征都被选中时，用一个全为1的向量表示。
• 创建扰动数据集 ：与LIME类似，但SHAP是随机生成特征“开启”或“关闭”的联盟向量。若特征开启，联盟向量中对应值为1；若关闭，对应值为0。开启的特征取所选实例的实际值，关闭的特征从训练集中随机取值。
• 加权数据集 ：根据样本与所选实例的接近程度对数据集进行加权。与LIME不同，SHAP使用SHAP核来确定权重，该核函数会给特征数量极少或极多的联盟更高的权重。
• 拟合线性模型 ：在加权数据集上拟合线性模型，并将线性模型的系数或权重作为所选实例的解释，这些系数或权重就是Shapley值。

以下是SHAP工作流程的mermaid流程图：