17、机器学习模型解释方法：全局与局部代理模型的应用

机器学习模型解释方法：全局与局部代理模型的应用

1. 全局代理模型概述

在机器学习中，我们常常使用性能出色的黑盒模型，但这些模型的决策逻辑难以解释。全局代理模型为解决这一问题提供了折中的方案。全局代理模型通常是一个白盒模型，通过使用黑盒模型的预测结果进行训练，从而从白盒模型的内在参数中提取有用的见解。

1.1 代理模型的定义与类型

代理模型是一个多义词，在工程、统计、经济和物理等领域都有应用。在机器学习解释方法中，全局代理模型一般指用黑盒模型的预测结果训练的白盒模型。此外，还有一种使用黑盒模型来近似和评估另一个无法访问但有其预测结果的模型的代理方式，不过我们更倾向于将这种代理称为代理模型。

1.2 创建全局代理模型

创建全局代理模型不需要复杂的库，可以使用如决策树、RuleFit等白盒模型。例如，TREPAN就是专门设计用作代理的模型，Skater库中提供了其实现，同时还有贝叶斯规则列表分类器（BRLC）的实现，它与RuleFit类似，但仅适用于分类任务。

2. 拟合代理模型

为了从神经网络模型中提取规则和层次结构，我们选择使用决策树和RuleFit。拟合代理模型的步骤如下：
- 决策树拟合 ：

fitted_dt_surrogate = tree.DecisionTreeRegressor(max_depth=7, random_state=rand).fit(X_train, y_train_nn_pred)
y_train_dt_pred = fitted