8、机器学习中的模型集成与分类方法

机器学习中的模型集成与分类方法

1. 模型集成之堆叠法

1.1 堆叠法概述

堆叠法（Stacking）是一种集成方法，通过改变适合训练数据的模型类型，找到一组不同的成员，并使用一个模型来组合预测结果。它有自己的术语，其中 0 级模型指的是集成成员，1 级模型指的是用于集成预测的模型。虽然可以使用更多级别的模型，但最常见的策略是采用两级模型层次结构。也可以有三个或五个 1 级模型，以及一个 2 级模型来集成 1 级模型的预测结果以生成最终预测。

任何机器学习模型都可用于聚合预测，但线性模型（如线性回归和用于二元分类的逻辑回归）最为常见。这样可以将模型的复杂性限制在较低级别的集成成员和简单模型中，从而学习利用各种预测结果。使用一系列通过不同方法训练或开发的模型是理想的选择，因为这样能确保它们做出不同的假设，从而减少预测误差。

堆叠法是一种集成技术，它教会模型将学习者模型的预测结果与元模型的预测结果相结合，以创建一个具有准确预测能力的最终模型。堆叠集成的基本优势在于，它可以保护各种有效模型解决分类和回归问题的能力，还有助于开发出预测性能优于所有单个模型的更优模型。

1.2 堆叠法的架构

堆叠模型的架构由一个元模型和两个或更多的基础模型（或学习者）组成，元模型用于集成基础模型的预测结果。元模型也被称为 1 级模型，而基础模型被称为 0 级模型。堆叠集成方法包含原始（训练）数据、初级模型、初级预测、二级模型和最终预测。具体如下：
- 原始数据 ：也称为测试数据或训练数据，被分成 n 折。
- 基础模型（0 级模型） ：使用训练数