12、提升模型性能：集成学习方法的应用与优化

提升模型性能：集成学习方法的应用与优化

1. 引言

在机器学习领域，提升模型性能是一个核心目标。集成学习中的提升算法，如 AdaBoost、梯度提升和极端梯度提升（XGBoost），是实现这一目标的有效手段。本文将详细介绍这些算法的使用方法、工作原理以及如何通过调整超参数来优化模型性能。

2. AdaBoost 算法

2.1 使用 DecisionTreeClassifier 训练模型

在构建 AdaBoost 模型之前，我们先使用 DecisionTreeClassifier 训练一个基础模型。以下是具体代码：

from sklearn.tree import DecisionTreeClassifier

dtree = DecisionTreeClassifier(max_depth=3, random_state=0)
dtree.fit(X_train, Y_train)

# 查看准确率和 AUC 值
print('The mean accuracy is: ',(dtree.score(X_test,Y_test))*100,'%')
y_pred_dtree = dtree.predict_proba(X_test)
from sklearn.metrics import roc_curve, auc
fpr_dtree, tpr_dtree, thresholds = roc_curve(Y_test, y_pred_dtree[:,1])
auc_dtree = auc(fpr_dtree, tpr_dtree)
print ('AUC Value: