机器学习算法XGBoost（eXtreme Gradient Boosting）

原创

已于 2024-08-23 19:57:39 修改 · 352 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#决策树 #算法 #机器学习

于 2024-08-03 15:04:17 首次发布

XGBoost（eXtreme Gradient Boosting）是一种机器学习算法，它是一种集成学习方法，通过组合多个弱学习器（通常是决策树）来创建一个强学习器。它的核心思想是每次迭代都根据前一次迭代的结果对样本进行加权，使得模型能够更好地拟合数据。XGBoost的目标是通过最小化损失函数来找到最优模型。

下面是两个例子和代码实现，以帮助更好地理解XGBoost算法：

例子1：房价预测假设我们有一些关于房屋的特征数据（如面积、位置、年份等），以及对应的房价。我们希望通过这些特征来预测其他房屋的价格。我们可以使用XGBoost来训练一个回归模型。

代码实现：

import xgboost as xgb
from sklearn.metrics import mean_squared_error
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split

# 加载波士顿房价数据集
boston = load_boston()
X, y = boston.data, boston.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 将数据转换为XGBoost专用的DMatrix格式
dtrain = xgb.DMatrix(X_train, label=y_train)
dtest = xgb.DMatrix(X_test, label=y_test)

# 设置参数
params = {
    'objective': 'reg:squarederror',
    'eval_metric': 'rmse'
}

# 训练模型
model = xgb.train(params, dtrain, num_boost_round=100)

# 预测
y_pred = model.predict(dtest)

# 计算均方根误差
mse = mean_squ