14、集成学习中模糊性与泛化能力的关系

集成学习中模糊性与泛化能力的关系

在分类框架下，分类器的泛化能力指的是其对来自与训练集相同分布的未见过样本进行正确分类的能力。本文将揭示泛化与不确定性之间的关系，具体探讨集成学习中基分类器的泛化能力与模糊性之间的关系。

1. 分类边界

1.1 边界及其由学习到的分类器给出的估计

在n维空间中，超曲面可以将输入空间划分为不相交的子集，即决策区域，每个区域中的点（样本）属于同一类。决策边界通常指的是不同类决策区域之间的超曲面。在许多实际分类问题中，真实的决策边界客观存在，但通常是未知的。分类学习的一个目的就是找到真实边界的近似，使得真实边界与其估计之间的差异尽可能小。这个差异被称为近似误差，需要通过训练算法来找到估计边界。理想情况下，算法会试图使误差为零，但实际上这是不可能的。估计边界通常基于分类器获得，该分类器是根据训练算法对一组样本进行训练得到的。

理论上，如果分类器训练良好，就可以确定估计边界。这意味着如果分类器训练得好，我们可以获得所考虑区域内每个样本的类别标签。对于一些分类器，获取样本标签的机制很清晰，在这些情况下，估计边界可以用特定公式明确表示。例如线性决策边界：
考虑一个标签为y = ±1的二分类任务。当训练样本线性可分时，我们可以设置线性分类器的参数，使所有训练样本都能被正确分类。设w为与决策边界正交的向量，b为标量偏移项，则决策边界可以表示为：
[w^T x + b = 0]
典型的例子是支持向量机（SVM）对线性可分样本给出的分类器。通过计算样本与边界的距离(\vert w^T x + b\vert)，并设置一个阈值，就可以判断样本离边界的远近。

然而，有些分类器没有清晰的机制来获取每个样本