AdaBoost 算法：回归问题

前言

在《统计学习方法》这本书中介绍了基于分类问题的AdaBoost方法，其中更新样本权重采用的是$y_i!=G(x_i)$，其实当时就思考这样一个问题：如果用于回归任务，那么这个更新样本权重该如何计算？本文基于此问题展开讨论。对此问题有疑问的请参考博客提升方法（boosting）和AdaBoost详解
。

AdaBoost 回归算法

我们都知道回归预测得到的结果是数值，比如 房子价格，每一个房产样本都有一个房产价格，这个价格是一个数值，不同的房产价格可能是不一样的，且价格繁多，不像分类问题，类别较固定，所以使用AdaBoost算法做回归问题时不能单单的用分类问题的AdaBoost 算法，其重点在于如何更新样本权重及分类器权重，参考资料有如下一种思路：

• 首先聊聊误差率问题，对于第m个若学习器，计算它在训练集上的最大误差：
  $$E_m=max|y_i-G_m(x_i)|$$
  为什么不取全体样本误差总值？
• 计算每个样本的相对误差：
  $$e_{mi}=\frac{|y_i-G_m(x_I}{E_m}$$