12、提升模型性能：集成学习方法详解

提升模型性能：集成学习方法详解

1. AdaBoost模型训练与优化

1.1 决策树分类器训练

在构建AdaBoost模型之前，我们先使用 DecisionTreeClassifier 训练模型。以下是具体代码：

from sklearn.tree import DecisionTreeClassifier
dtree = DecisionTreeClassifier(max_depth=3, random_state=0)
dtree.fit(X_train, Y_train)

接着，我们可以查看模型的准确率和AUC值：

from sklearn.metrics import roc_curve, auc

# 平均准确率
print('The mean accuracy is: ',(dtree.score(X_test,Y_test))*100,'%')
# AUC分数
y_pred_dtree = dtree.predict_proba(X_test)
fpr_dtree, tpr_dtree, thresholds = roc_curve(Y_test, y_pred_dtree[:,1])
auc_dtree = auc(fpr_dtree, tpr_dtree)
print ('AUC Value: ', auc_dtree)

运行上述代码后，我们得到的准确率分数和AUC值分别为91.81%和0.91。不过，由于随机