11、函数梯度技术在假设组合中的应用

函数梯度技术在假设组合中的应用

在机器学习领域，投票方法在模式分类中一直备受关注。像 AdaBoost 和 Bagging 等算法，能显著提升基础分类器的性能，其有效性源于它们倾向于产生大间隔分类器。本文将深入探讨一系列用于寻找函数线性和凸组合的抽象算法，这些算法能最小化任意成本泛函，许多现有的投票方法都是这些抽象算法的特殊情况。

1. 引言

投票方法用于模式分类，通过对一组基础分类器进行加权投票来预测特定示例的标签。例如，AdaBoost 和 Bagging 能大幅提升对应基础分类器的性能，促使了许多相关算法的研究。理论结果表明，这些算法的有效性在于它们倾向于产生大间隔分类器。

Mason 等人提出了改进的上界，用于界定组合分类器的误分类概率，该上界基于训练数据上间隔的某个成本函数的平均值。他们还介绍了一种名为 DOOM 的算法，该算法通过修改现有组合分类器的权重来最小化这个成本函数，其性能优于 AdaBoost。

本文提出了一种通用算法 MarginBoost，用于选择分类器的组合，以优化间隔的任意成本函数的样本平均值。MarginBoost 在函数空间中进行梯度下降，每次迭代选择一个基础分类器，以最大程度地降低成本函数。

2. 优化间隔的成本函数

我们假设示例 $(x; y)$ 是根据某个未知概率分布 $D$ 在 $X \times Y$ 上随机生成的，其中 $X$ 是测量空间，$Y$ 是标签空间。我们的主要兴趣在于形式为 $\text{sgn}(F(x))$ 的投票组合分类器，其中 $F(x) = \sum_{t=1}^{T} w_t f_t(x)$，$f_t$ 是基础分类器，$w_t$ 是分类器权重。 </