12、提升模型性能：集成学习方法的应用与优化

提升模型性能：集成学习方法的应用与优化

1. AdaBoost 算法的应用与调优

1.1 决策树模型训练

在构建 AdaBoost 模型之前，我们先使用 DecisionTreeClassifier 训练模型：

from sklearn.tree import DecisionTreeClassifier

dtree = DecisionTreeClassifier(max_depth=3, random_state=0)
dtree.fit(X_train, Y_train)

# 查看准确率和 AUC 值
# Mean accuracy
print('The mean accuracy is: ',(dtree.score(X_test,Y_test))*100,'%')
# AUC score
from sklearn.metrics import roc_curve, auc
y_pred_dtree = dtree.predict_proba(X_test)
fpr_dtree, tpr_dtree, thresholds = roc_curve(Y_test, y_pred_dtree[:,1])
auc_dtree = auc(fpr_dtree, tpr_dtree)
print ('AUC Value: ', auc_dtree)

执行上述代码后，我们得到决策树模型的准确率为 91.81%，AUC 值为 0.91。

1.2 AdaBoost 模型训练

接下来，我们使用 A