12、从决策树到随机森林及其他集成方法与感知机

从决策树到随机森林及其他集成方法与感知机

集成方法概述

集成是将多个模型组合起来，使其性能优于各个组件的技术。常见的集成训练方法有以下几种：
- Bagging（自助聚合） ：能降低估计器的方差，通过自助重采样创建多个训练集变体，对在这些变体上训练的模型的预测结果进行平均。袋装决策树被称为随机森林。
- Boosting（提升） ：是一类主要用于减少估计器偏差的集成方法，可用于分类和回归任务。
- Stacking（堆叠） ：使用元估计器来组合基估计器的预测结果。

数据集创建与模型评估

首先，使用 make_classification 创建一个人工分类数据集。这个便捷函数可以精细控制所生成数据集的特征。创建一个包含1000个实例的数据集，其中70个特征中有30个是信息特征，其余是信息特征的冗余组合或噪声。然后，训练并评估单个决策树，接着是包含10棵树的随机森林。随机森林的F1精度、召回率和F1分数更高。

import numpy as np
from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_sp