12、回归增强学习策略研究

回归增强学习策略研究

1. 引言

在分类任务中，增强那些表现略优于随机水平的学习器的想法催生了一种通用算法，它能够结合不同假设的优势。Adaboost算法进一步完善了这种结合单个学习器优势的方法，通过创建加权组合，权重由单个弱学习器的性能决定。这种改进分类算法性能的方法已被纳入最先进的学习系统，并受到了统计界的关注。

然而，将类似策略应用于回归问题的研究虽已展开，但早期结果并不理想。例如，一些方法将回归问题转化为分类问题，存在实现开销大、权重变化剧烈以及不适用于依赖误差函数梯度的算法等缺点。Drucker开发的增强算法依赖于最大误差，单个极值的变化可能导致权重的大幅改变。

近期，Friedman从函数空间的数值优化角度开发了一套回归增强算法，与标准增强算法不同，它在弱学习器空间中执行确定性梯度下降。本文研究回归学习器的增强问题，提出了一种生成用于训练弱学习器的示例分布以及确定其目标值的新策略，该策略受以下三个想法的启发：
- 基于分类器边际分析的泛化边界结果，为弱学习器设计不同的准则和分布，以优化整体性能。
- 将增强回归问题视为优化问题。
- 采用Dunkin等人的增量学习构造性神经网络算法来控制弱学习器的复杂度。

2. 背景知识

为了理解新的增强算法，我们需要回顾一些背景理论结果。

2.1 定理13.1

考虑一个希尔伯特空间和范数小于等于A且限制在以原点为中心、半径为R的球面上的线性函数类L，则L的胖破碎维度有如下边界：
$Fat_L(\gamma) \leq (\frac{AR}{\gamma})^2$

2.2 定义13.2