SHAP 的局限性

SHAP 如何受到特征依赖性、因果推理和人为偏见的影响

{:width 200}

SHAP 是最流行的 IML/XAI 方法。它是一种强大的方法，可用于了解我们的模型如何进行预测。

但不要让受欢迎程度说服你。

SHAP 仍有局限性。使用该方法得出结论时需要牢记这些局限性。

我们将讨论 4 个重要的限制：

• 第一个来自 SHAP 包本身

• 第二个来自于 SHAP 值的计算方式——我们假设特征是独立的

• 第三个是我们如何使用它们——不是为了因果推理

• 最后一点来自于人类使用它们的方式——我们编造故事

• 1 SHAP 包

  第一个与 SHAP 包本身有关。内核 SHAP 在理论上是一种与模型无关的方法，但这并不意味着它在实践中也是与模型无关的。为什么？因为它尚未在所有包中实现。

  就我个人而言，我已经将该软件包与 5 个建模软件包一起使用：Scikit learns、XGBoost、Catboost、PyTorch 和 Keras。请记住，如果你使用的是不太流行的建模框架，可能会遇到一些麻烦。即使是深度学习软件包，SHAP 也可能相当不稳定。我很难让它与 PyTorch 一起工作

  </