StackingClassifier

关注

原创最新推荐文章于 2026-07-29 07:39:24 发布 1w 阅读 AI 写同款· GEO 优化 ›

集成学习 Ensemble Learning 本文主要简单介绍了集成学习的基本概念，优缺点，应用场景，实现方法，以及bagging, boosting, 堆叠法三种集成学习的建模过程,示例和模型参数等。阅读详情

写在前面

scikit-learn 官网的Ensemble methods 文档部分只介绍了/bagging / boosting / voting / 三种模型组合方式;但是通过查找学习，受周志华《机器学习》集成学习部分的学习法启发，了解并学习了 stacking，在此以作记录。

概述

Stacking 是一种集合学习技术，通过元分类器组合多个分类模型。基于完整训练集训练各个分类模型; 然后，基于整体中的各个分类模型的输出 - 元特征来拟合元分类器。元分类器可以根据预测类标签或来自集合的概率进行训练。

流程图：

OR
这里写图片描述

算法总结：
这里写图片描述

下面直接上实现过程

环境

ubantu 16.04 + jupyter + python2.7
scikit-learn + mlxtend + anconda

示例1.基础StackingClassifier

from sklearn import model_selection
from sklearn.linear_model import LogisticRegression
from sklearn.neighbors import KNeighborsClassifier
from sklearn.naive_bayes import GaussianNB 
from sklearn.ensemble import RandomForestClassifier
from mlxtend.classifier import StackingClassifier
import numpy as np

clf1 = KNeighborsClassifier(n_neighbors=1)
clf2 = RandomForestClassifier(random_state=1)
clf3 = GaussianNB()
lr = LogisticRegression()
sclf = StackingClassifier(classifiers=[clf1, clf2, clf3], 
                          meta_classifier=lr)

print('3-fold cross validation:\n')

for clf, label in zip([clf1, clf2, clf3, sclf], 
                      ['KNN', 
                       'Random Forest', 
                       'Naive Bayes',
                       'StackingClassifier']):

    scores = model_selection.cross_val_score(clf, X, y, 
                                              cv=3, scoring='accuracy')
    print("Accuracy: %0.2f (+/- %0.2f) [%s]" 
          % (scores.mean(), scores.std(), label))

3-fold cross validation:

Accuracy: 0.91 (+/- 0.01) [KNN]
Accuracy: 0.91 (+/- 0.06) [Random Forest]
Accuracy: 0.92 (+/- 0.03) [Naive Bayes]
Accuracy: 0.95 (+/- 0.03) [StackingClassifier]

import matplotlib.pyplot as plt
from mlxtend.plotting import plot_decision_regions
import matplotlib.gridspec as gridspec
import itertools

gs = gridspec.GridSpec(2, 2)

fig = plt.figure(figsize=(10,8))

for clf, lab, grd in zip([clf1, clf2, clf3, sclf], 
                         ['KNN', 
                          'Random Forest', 
                          'Naive Bayes',
                          'StackingClassifier'],
                          itertools.product([0, 1], repeat=2)):

    clf.fit(X, y)
    ax = plt.subplot(gs[grd[0], grd[1]])
    fig = plot_decision_regions(X=X, y=y, clf=clf)
    plt.title(lab)

这里写图片描述

示例2.使用概率作为原特征的分类

或者，第一级分类器的类概率可用于通过设置来训练元分类器（第二级分类器）use_probas=True。如果average_probas=True，平均1级分类器的概率，如果average_probas=False，概率被学习法（推荐）。例如，在具有2个1级分类器的3类设置中，这些分类器可以对1个训练样本进行以下“概率”预测：

分类器1：[0.2,0.5,0.3]
分类器2：[0.3,0.4,0.4]

如果average_probas=True，元特征将是：

[0.25,0.45,0.35]

相反，使用average_probas=Falsek个特征中的结果，其中，k = [n_classes * n_classifiers]，通过学习法这些1级概率：

[0.2,0.5,0.3,0.3,0.4,0.4]

clf1 = KNeighborsClassifier(n_neighbors=1)
clf2 = RandomForestClassifier(random_state=1)
clf3 = GaussianNB()
lr = LogisticRegression()
sclf = StackingClassifier(classifiers=[clf1, clf2, clf3],
                          use_probas=True,
                          average_probas=False,
                          meta_classifier=lr)

print('3-fold cross validation:\n')

for clf, label in zip([clf1, clf2, clf3, sclf], 
                      ['KNN', 
                       'Random Forest', 
                       'Naive Bayes',
                       'StackingClassifier']):

    scores = model_selection.cross_val_score(clf, X, y, 
                                              cv=3, scoring='accuracy')
    print("Accuracy: %0.2f (+/- %0.2f) [%s]" 
          % (scores.mean(), scores.std(), label))

3-fold cross validation:
Accuracy: 0.91 (+/- 0.01) [KNN]
Accuracy: 0.91 (+/- 0.06) [Random Forest]
Accuracy: 0.92 (+/- 0.03) [Naive Bayes]
Accuracy: 0.94 (+/- 0.03) [StackingClassifier]

示例3 - 学习法分类和GridSearch

要为scikit-learn设置参数网格GridSearch，需在参数网格中提供分类器的名称 - 在元回归的特殊情况下，添加’meta-‘前缀。

from sklearn.linear_model import LogisticRegression
from sklearn.neighbors import KNeighborsClassifier
from sklearn.naive_bayes import GaussianNB 
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV
from mlxtend.classifier import StackingClassifier

# Initializing models

clf1 = KNeighborsClassifier(n_neighbors=1)
clf2 = RandomForestClassifier(random_state=1)
clf3 = GaussianNB()
lr = LogisticRegression()
sclf = StackingClassifier(classifiers=[clf1, clf2, clf3], 
                          meta_classifier=lr)

params = {'kneighborsclassifier__n_neighbors': [1, 5],
          'randomforestclassifier__n_estimators': [10, 50],
          'meta-logisticregression__C': [0.1, 10.0]}

grid = GridSearchCV(estimator=sclf, 
                    param_grid=params, 
                    cv=5,
                    refit=True)
grid.fit(X, y)

cv_keys = ('mean_test_score', 'std_test_score', 'params')

for r, _ in enumerate(grid.cv_results_['mean_test_score']):
    print("%0.3f +/- %0.2f %r"
          % (grid.cv_results_[cv_keys[0]][r],
             grid.cv_results_[cv_keys[1]][r] / 2.0,
             grid.cv_results_[cv_keys[2]][r]))

print('Best parameters: %s' % grid.best_params_)
print('Accuracy: %.2f' % grid.best_score_)

在此对于寻参方法，与之前的VoteClassifier 设计相同，但是作者本身还是更喜欢将一级分类器逐个寻优 ->之后才带入一级模型训练 - > 接着二级分类器模型寻参 -> 二级模型训练

如果我们计划多次使用回归算法，我们需要做的是在参数网格中添加一个额外的数字后缀，如下所示：

from sklearn.model_selection import GridSearchCV

# Initializing models

clf1 = KNeighborsClassifier(n_neighbors=1)
clf2 = RandomForestClassifier(random_state=1)
clf3 = GaussianNB()
lr = LogisticRegression()
sclf = StackingClassifier(classifiers=[clf1, clf1, clf2, clf3],  # 此处变化
                          meta_classifier=lr)

params = {'kneighborsclassifier-1__n_neighbors': [1, 5],
          'kneighborsclassifier-2__n_neighbors': [1, 5],   # 此处变化
          'randomforestclassifier__n_estimators': [10, 50],
          'meta-logisticregression__C': [0.1, 10.0]}

grid = GridSearchCV(estimator=sclf, 
                    param_grid=params, 
                    cv=5,
                    refit=True)
grid.fit(X, y)

cv_keys = ('mean_test_score', 'std_test_score', 'params')

for r, _ in enumerate(grid.cv_results_['mean_test_score']):
    print("%0.3f +/- %0.2f %r"
          % (grid.cv_results_[cv_keys[0]][r],
             grid.cv_results_[cv_keys[1]][r] / 2.0,
             grid.cv_results_[cv_keys[2]][r]))

print('Best parameters: %s' % grid.best_params_)
print('Accuracy: %.2f' % grid.best_score_)

API 说明

StackingClassifier（classifiers，meta_classifier，use_probas = False，average_probas = False，verbose = 0）

参数

classifiers ：array-like，shape = [n_classifiers]

一级分类器列表
meta_classifier ：Object

二级分类器（元分类器）
use_probas ：bool（默认值：False）

如果为True，则基于预测的概率而不是类标签来训练元分类器。
average_probas ：bool（默认值：False）

如果为真，将概率平均为元特征。
verbose ：int，optional（default = 0）

Controls the verbosity of the building process. - verbose=0 (default): Prints nothing - verbose=1: Prints the number & name of the regressor being fitted - verbose=2: Prints info about the parameters of the regressor being fitted - verbose>2: Changes verbose param of the underlying regressor to self.verbose - 2

属性

clfs_ ：list，shape = [n_classifiers]

一级分类器
meta_clf_ ：estimators器

二级分类器（元分类器）

方法

fit（X，y）
拟合合成分类器和元分类器。

Parameters

X ：{array-like，sparse matrix}，shape = [n_samples，n_features]

训练向量，其中n_samples是样本的数量，n_features是特征的数量。
y ：array-like，shape = [n_samples]

target values。

Returns
self ：Object

fit_transform（X，y = None，fit_params）

进行数据规整化

Parameters