75、集成学习：原理、方法与应用

集成学习：原理、方法与应用

在机器学习领域，传统的学习方法常依赖单一假设进行预测。然而，集成学习为我们提供了一种新的思路，它通过组合多个假设来提升预测性能。本文将深入探讨集成学习的原理、常用方法及其在不同领域的应用。

集成学习的原理

集成学习的核心思想是选择一组假设（$h_1, h_2, …, h_n$），并通过平均、投票或更高级的机器学习方法将它们的预测结果进行组合。这些单个假设被称为基础模型，它们的组合则构成了集成模型。集成学习的主要目的有两个：

• 减少偏差 ：基础模型的假设空间可能过于受限，导致较强的偏差。例如，逻辑回归中的线性决策边界就存在这种偏差。而集成模型可以更具表达力，从而减少偏差。以三个线性分类器的集成为例，它可以表示单个线性分类器无法表示的三角形区域。

graph LR
    A[线性分类器1] --> C[集成模型]
    B[线性分类器2] --> C
    D[线性分类器3] --> C
    C --> E[表示三角形区域]

• 减少方差 ：以一个由$K = 5$个二元分类器组成的集成为例，通过多数投票进行组合。要使集成对新示例分类错误，至少需要三个分类器都分类错误。假设单个分类器的正确率为$80\%$，创建一个由$5$个分类器组成的集成，每个分类器在不同的数据子集上训练，假设每个分类器的正确率降至$75\%$。但通过多数投票，集成的正确率可达$89\%$（当$K = 17$时，正确率可达$9