集成学习小介

最新推荐文章于 2025-05-20 10:19:29 发布

原创

最新推荐文章于 2025-05-20 10:19:29 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#集成学习 #机器学习 #人工智能

本文介绍了集成学习的概念及其三种常见方法：Voting Classifiers、Bagging（包括Pasting）和Boosting（包括AdaBoost和Gradient Boosting）。Voting通过聚合多个分类器的结果进行预测，Bagging通过随机抽样创建子数据集训练模型，Boosting则按顺序训练分类器以改进前者的错误。集成学习的优势在于高准确性和潜在的过拟合风险。

1 前言

在机器学习中有一个常见且重要的概念——集成学习（Ensemble Learning），即通过构建多个机器学习器来完成学习任务。今天，我们将介绍集成学习的一些常见方法，如Voting Classifiers,Bagging和Boosting。

2 集成方法

2.1 Voting Classifiers

如下图所示，Voting Classifiers的基本原则就是基于相同的训练集，采用不同的模型算法去拟合数据，从而将最后的预测结果聚合取得最终的结果。

其代码实现如下所示：

## RandomForest, Logistic Regression and SVC 
## participate in ensemble learning
from sklearn.ensemble import RandomForestClassifier
from sklearn.ensemble import VotingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC

log_clf = LogisticRegression()
rnd_clf =  RandomForestClassifier()
svm_clf = SVC()
##aggregate three algorithms as Voting Classifier
voting_clf = VotingClassifier(
    estimators=[('lr',log_clf),('rf',rnd_clf),('svc',svm_clf )],
    voting= 'hard'
)

voting_clf.fit(X_tran,y_train)

训练结束后，可以查看每个分类器在测试集上的表现：

## Look at each classifier's accuracy on the test set:
from sklearn.metrics imp

最低0.47元/天解锁文章