吴裕雄 python 机器学习——集成学习梯度提升决策树GradientBoostingRegressor回归模型...-优快云博客

本文介绍了使用Python进行机器学习时，如何应用集成学习中的梯度提升决策树（GradientBoostingRegressor）进行回归模型构建。通过实例展示了数据预处理、模型训练、参数调优及模型评估的全过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import numpy as np
import matplotlib.pyplot as plt

from sklearn import datasets,ensemble
from sklearn.model_selection import train_test_split

def load_data_regression():
    '''
    加载用于回归问题的数据集
    '''
    #使用 scikit-learn 自带的一个糖尿病病人的数据集
    diabetes = datasets.load_diabetes() 
    # 拆分成训练集和测试集，测试集大小为原始数据集大小的 1/4
    return train_test_split(diabetes.data,diabetes.target,test_size=0.25,random_state=0) 

#集成学习梯度提升决策树GradientBoostingRegressor回归模型
def test_GradientBoostingRegressor(*data):
    X_train,X_test,y_train,y_test=data
    regr=ensemble.GradientBoostingRegressor()
    regr.fit(X_train,y_train)
    print("Training score:%f"%regr.score(X_train,y_train))
    print("Testing score:%f"%regr.score(X_test,y_test))
    
# 获取分类数据
X_train,X_test,y_train,y_test=load_data_regression() 
# 调用 test_GradientBoostingRegressor
test_GradientBoostingRegressor(X_train,X_test,y_train,y_test)

def test_GradientBoostingRegressor_num(*data):
    '''
    测试 GradientBoostingRegressor 的预测性能随 n_estimators 参数的影响
    '''
    X_train,X_test,y_train,y_test=data
    nums=np.arange(1,200,step=2)
    fig=plt.figure()
    ax=fig.add_subplot(1,1,1)
    testing_scores=[]
    training_scores=[]
    for num in nums:
        regr=ensemble.GradientBoostingRegressor(n_estimators=num)
        regr.fit(X_train,y_train)
        training_scores.append(regr.score(X_train,y_train))
        testing_scores.append(regr.score(X_test,y_test))
    ax.plot(nums,training_scores,label="Training Score")
    ax.plot(nums,testing_scores,label="Testing Score")
    ax.set_xlabel("estimator num")
    ax.set_ylabel(&