XGBoost你真的懂吗？我不信.....

关注

转载最新推荐文章于 2026-02-15 13:49:16 发布 462 阅读 AI 写同款· GEO 优化 ›

监督学习（四）：XGBoost算法监督学习（四）：XGBoost算法 XGBoost（eXtreme Gradient Boosting）全名叫极端梯度提升，XGBoost是集成学习方法的王牌，在Kaggle数据挖掘比赛中，大部分获胜者用了XGBoost，XGBoost在绝大多数的回归和分类问题上表现的十分顶尖，本文较详细的介绍了XGBoost的算法原理。目录监督学习（四）：XGBoost算法1. 最优模型的构建方法2. Boosting的回归思想3. XGBoost的目标函数推导4. XGBoost的回归树构建方法5. XGBo 阅读详情

在这篇文章中，我们将介绍一些技术以更好地理解 XGBoost 的预测过程。这允许我们在利用 gradient boosting 的威力的同时，仍然能理解模型的决策过程。

为了解释这些技术，我们将使用 Titanic 数据集。该数据集有每个泰坦尼克号乘客的信息（包括乘客是否生还）。我们的目标是预测一个乘客是否生还，并且理解做出该预测的过程。即使是使用这些数据，我们也能看到理解模型决策的重要性。想象一下，假如我们有一个关于最近发生的船难的乘客数据集。建立这样的预测模型的目的实际上并不在于预测结果本身，但理解预测过程可以帮助我们学习如何最大化意外中的生还者。

import pandas as pd
from xgboost import XGBClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
import operator
import matplotlib.pyplot as plt
import seaborn as sns
import lime.lime_tabular
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import Imputer
import numpy as np
from sklearn.grid_search import GridSearchCV
%matplotlib inline

我们要做的首件事是观察我们的数据，你可以在 Kaggle 上找到（https://www.kaggle.com/c/titanic/data）这个数据集。拿到数据集之后，我们会对数据进行简单的清理。即：

清除名字和乘客 ID
把分类变量转化为虚拟变量
用中位数填充和去除数据

这些清洗技巧非常简单，本文的目标不是讨论数据清洗，而是解释 XGBoost，因此这些都是快速、合理的清洗以使模型获得训练。

data = pd.read_csv("./data/titantic/train.csv")
y = data.Survived
X = data.drop(["Survived", "Name", "PassengerId"], 1)
X = pd.get_dummies(X)

现在让我们将数据集分为训练集和测试集。

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42)

并通过少量的超参数测试构建一个训练管道。

pipeline = Pipeline([( imputer , Imputer(strategy= median )), ( model , XGBClassifier())])

parameters = dict(model__max_depth=[3, 5, 7],
                  model__learning_rate=[.01, .1],
                  model__n_estimators=[100, 500])
cv = GridSearchCV(pipeline, param_grid=parameters)
cv.fit(X_train, y_train)

接着查看测试结果。为简单起见，我们将会使用与 Kaggle 相同的指标：准确率。

test_predictions = cv.predict(X_test)
print("Test Accuracy: {}".format(accuracy_score(y_test, test_predictions)))
Test Accuracy: 0.8101694915254237

至此我们得到了一个还不错的准确率，在 Kaggle 的大约 9000 个竞争者中排到了前 500 名。因此我们还有进一步提升的空间，但在此将作为留给读者的练习。

我们继续关于理解模型学习到什么的讨论。常用的方法是使用 XGBoost 提供的特征重要性（feature importance）。特征重要性的级别越高，表示该特征对改善模型预测的贡献越大。接下来我们将使用重要性参数对特征进行分级，并比较相对重要性。

fi = list(zip(X.columns, cv.best_estimator_.named_steps[ model ].feature_importances_))
fi.sort(key = operator.itemgetter(1), reverse=True)
top_10 = fi[:10]
x = [x[0] for x in top_10]
y = [x[1] for x in top_10]

从上图可以看出，票价和年龄是很重要的特征。我们可以进一步查看生还/遇难与票价的相关分布：

我们可以很清楚地看到，那些生还者相比遇难者的平均票价要高得多，因此把票价当成重要特征可能是合理的。

特征重要性可能是理解一般的特征重要性的不错方法。假如出现了这样的特例，即模型预测一个高票价的乘客无法获得生还，则我们可以得出高票价并不必然导致生还，接下来我们将分析可能导致模型得出该乘客无法生还的其它特征。

这种个体层次上的分析对于生产式机器学习系统可能非常有用。考虑其它例子，使用模型预测是否可以某人一项贷款。我们知道信用评分将是模型的一个很重要的特征，但是却出现了一个拥有高信用评分却被模型拒绝的客户，这时我们将如何向客户做出解释？又该如何向管理者解释？

幸运的是，近期出现了华盛顿大学关于解释任意分类器的预测过程的研究。他们的方法称为 LIME，已经在 GitHub 上开源（https://github.com/marcotcr/lime）。本文不打算对此展开讨论，可以参见论文（https://arxiv.org/pdf/1602.04938.pdf）

接下来我们尝试在模型中应用 LIME。基本上，首先需要定义一个处理训练数据的解释器（我们需要确保传递给解释器的估算训练数据集正是将要训练的数据集）：

X_train_imputed = cv.best_estimator_.named_steps[ imputer ].transform(X_train)
explainer = lime.lime_tabular.LimeTabularExplainer(X_train_imputed,
    feature_names=X_train.columns.tolist(),
    class_names=["Not Survived", "Survived"],
    discretize_continuous=True)

随后你必须定义一个函数，它以特征数组为变量，并返回一个数组和每个类的概率：

model = cv.best_estimator_.named_steps[ model ]
def xgb_prediction(X_array_in):
    if len(X_array_in.shape) < 2:
        X_array_in = np.expand_dims(X_array_in, 0)
    return model.predict_proba(X_array_in)

最后，我们传递一个示例，让解释器使用你的函数输出特征数和标签：

X_test_imputed = cv.best_estimator_.named_steps[ imputer ].transform(X_test)
exp = explainer.explain_instance(X_test_imputed[1], xgb_prediction, num_features=5, top_labels=1)
exp.show_in_notebook(show_table=True, show_all=False)