Python实现Gradient Boosting算法

在Python中，我们可以使用​​scikit - learn​​库来实现Gradient Boosting算法。下面将通过一个分类和一个回归的例子详细介绍如何使用Gradient Boosting。

1. 分类问题示例

在这个例子中，我们将使用鸢尾花数据集，使用​​GradientBoostingClassifier​​进行分类。

# 导入必要的库
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.metrics import accuracy_score

# 加载鸢尾花数据集
iris = load_iris()
X = iris.data
y = iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建Gradient Boosting分类器
gb_classifier = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1, random_state=42)

# 训练模型
gb_classifier.fit(X_train, y_train)

# 进行预测
y_pred = gb_classifier.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy: {accuracy}")

代码解释：

• 数据加载：使用​​load_iris​​函数加载鸢尾花数据集。
• 数据划分：使用​​train_test_split​​函数将数据集划分为训练集和测试集，测试集占比为20%。
• 模型创建：使用​​GradientBoostingClassifier​​创建一个Gradient Boosting分类器，设置​​n_estimators​​为100（即树的数量），​​learning_rate​​为0.1。
• 模型训练：使用​​fit​​方法对训练数据进行训练。
• 预测：使用​​predict​​方法对测试数据进行预测。
• 评估：使用​​accuracy_score​​函数计算预测结果的准确率。

2. 回归问题示例

在这个例子中，我们将使用波士顿房价数据集，使用​​GradientBoostingRegressor​​进行回归。

# 导入必要的库
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.metrics import mean_squared_error

# 加载波士顿房价数据集
boston = load_boston()
X = boston.data
y = boston.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建Gradient Boosting回归器
gb_regressor = GradientBoostingRegressor(n_estimators=100, learning_rate=0.1, random_state=42)

# 训练模型
gb_regressor.fit(X_train, y_train)

# 进行预测
y_pred = gb_regressor.predict(X_test)

# 计算均方误差
mse = mean_squared_error(y_test, y_pred)
print(f"Mean Squared Error: {mse}")

代码解释：

• 数据加载：使用​​load_boston​​函数加载波士顿房价数据集。
• 数据划分：使用​​train_test_split​​函数将数据集划分为训练集和测试集，测试集占比为20%。
• 模型创建：使用​​GradientBoostingRegressor​​创建一个Gradient Boosting回归器，设置​​n_estimators​​为100，​​learning_rate​​为0.1。
• 模型训练：使用​​fit​​方法对训练数据进行训练。
• 预测：使用​​predict​​方法对测试数据进行预测。
• 评估：使用​​mean_squared_error​​函数计算预测结果的均方误差。

需要注意的是，​​load_boston​​函数在​​scikit - learn​​ 1.2及以后的版本中已被弃用，你可以使用​​fetch_california_housing​​等其他数据集替代。