18、机器学习集成方法与超参数调优详解

机器学习集成方法与超参数调优详解

1. 集成投票（Ensemble Voting）

集成投票分类器允许我们通过多数投票将不同类型的多个机器学习算法的预测结果结合起来，这与Bagging/Boosting使用相似类型的多个分类器进行多数投票不同。

1.1 集成投票步骤

1. 从训练数据集中创建多个独立模型。
2. 使用投票分类器包装这些模型，当对新数据进行预测时，对这些子模型的预测结果进行平均。子模型的预测结果可以加权，但手动或启发式地为分类器指定权重是困难的。更高级的方法可以学习如何对子模型的预测结果进行最佳加权，这被称为堆叠（stacked aggregation），但目前Scikit - learn中未提供。

1.2 代码示例

以下是在Pima糖尿病数据集上构建单个模型并尝试投票分类器的代码：

import pandas as pd
import numpy as np
# set seed for reproducability
np.random.seed(2017)
import statsmodels.api as sm
from sklearn import metrics
from sklearn.linear_model import LogisticRegression
from sklearn.naive_bayes import GaussianNB
from sklearn.ensemble import RandomForestClassifier
from sklearn.svm i