机器学习----集成学习（Boosting）

Boosting是一族可将弱学习器提升为强学习器的算法。这族算法的工作机制类似：
先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的样本在后面受到更多关注。

AdaBoost

一直觉得AdaBoost这个名字起得好呀，全拼是Adaptive Boosting；adaptive是适应的，适合额意思。但是世界上第一个程序媛不也叫Ada嘛~

haha~扯远了。我们看看AdaBoost是怎么提升正确率的。

实现

在理论推导之前我们先看看它到底是怎么做的。
现在我们有训练集D={ (x1,y1),(x2,y2),...,(xm,ym)}D=\{(\mathbf{x_1},y_1),(\mathbf{x_2},y_2), ... ,(\mathbf{x_m},y_m)\}D={ (x1​,y1​),(x2​,y2​),...,(xm​,ym​)},基学习算法$\phi$。其中Y∈{ −1,+1}Y\in\{-1,+1\}Y∈{ −1,+1}

• 第一次训练我们就像平常一样，每个样例的权重为$1/m$。

• 我们为每个训练好的学习器附加权重，因为我们最后要线性求和学习器输出结果。这个权重怎么分配呢？我们让它与分类错误率挂钩。设第k个学习器的分类错误率为${ϵ}_k$，则权重为
  $${\alpha }_k=\frac{1}{2}ln(\frac{1-{ϵ}_t}{{ϵ}_t})$$

• 为了下一次的基学习器的训练，我们需要改变样本权重，大致思想为，这次分类对的缩小权重，这个分类错的，加大。这个权重的变更也跟${ϵ}_k$有关：
  $$D_{k+1}(x)=\frac{D_k(\mathbf{x})}{Z_k}\times \{\begin{array}{l}exp(-{\alpha }_k),if{h}_k(\mathbf{x})=f(\mathbf{x})\\ exp({\alpha }_k),if{h}_k(\mathbf{x})\end{array}$$