机器学习模型融合实战与解析-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_52561314/article/details/124480003

本文详细介绍了集成学习中的Bagging、Random Forest、Adaboost、Gradient Boosting和Voting、Stacking等方法，通过实例展示了如何在sklearn中应用这些技术，以提升模型的预测性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文根据一篇机器模型融合案例，对每类方法进行了尝试运用。

一、集成学习介绍

集成学习结合多个不同的模型，然后结合单个模型完成预测。通常情况下，集成学习能比单个模型找到更好的性能。

常见的集成学习技术有三类：

Bagging, 如. Bagged Decision Trees and Random Forest.
Boosting, 如. Adaboost and Gradient Boosting
Stacking, 如. Voting and using a meta-model.
使用集成学习可以减少预测结果的方差，同时也比单个模型更好的性能。

二、具体各类技术实践

1、Bagging

Bagging通过采样训练数据集的样本，训练得到多样的模型，进而得到多样的预测结果。在结合模型的预测结果时，可以对单个模型预测结果进行投票或平均。

Bagging的关键是对数据集的采样方法。常见的方式可以从行（样本）维度进行采样，这里进行的是有放回采样。

Bagging可通过 BaggingClassifier 和 BaggingRegressor 使用，默认情况下它们使用决策树作为基本模型，可以通过n_estimators参数指定要创建的树的数量。

#使用自带数据集
from sklearn.datasets import load_iris
data = load_iris()
x = data.data
y = data.target

from sklearn.model_selection import cross_val_score
from sklearn.model_selection import RepeatedStratifiedKFold
from sklearn.ensemble import BaggingClassifier
import numpy as np

# 创建bagging模型
model = BaggingClassifier(n_e