18、集成学习算法详解与实践

集成学习算法详解与实践

1. 投票分类器

1.1 硬投票分类器

在Scikit - Learn中，可以创建并训练一个投票分类器，它由多个不同的分类器组成。以下是使用三种不同分类器（逻辑回归、随机森林和支持向量机）构建硬投票分类器的代码：

from sklearn.ensemble import RandomForestClassifier
from sklearn.ensemble import VotingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC 

log_clf = LogisticRegression()
rnd_clf = RandomForestClassifier()
svm_clf = SVC() 

voting_clf = VotingClassifier( 
    estimators=[('lr', log_clf), ('rf', rnd_clf), ('svc', svm_clf)], 
    voting='hard')
voting_clf.fit(X_train, y_train)

可以通过以下代码查看每个分类器在测试集上的准确率：

from sklearn.metrics import accuracy_score
for clf in (log_clf, rnd_clf, svm_clf, voting_clf):
    clf