[机器学习入门] 李宏毅机器学习笔记-36（Ensemble part 2；集成方法 part 2）

[机器学习入门] 李宏毅机器学习笔记-35（Ensemble；集成方法）

PDF	VIDEO

---

上接part 1

Ensemble

Ensemble Boosting

AdaBoost

Algorithm for AdaBoost

上面
空白处为+1或-1，由下式决定。

于是：

我们要把这些classifier通通aggregate集合起来，怎么集合呢？

对 smaller error ,larger weight 的通俗理解就是，如果这个 f 本来就比较真确，那么最后算集合时投票权自然就大一点。

For example：
T=3, weak classifier = decision stump

ε1：error rate
d1：让example weight增加或减少的weight
α1：f1的weight，=ln(d1)
改变training data 的distribution，让 f1 废掉（红圈是分错的，乘以d1，其他除以d1），然后train f2。

与上一步同理。

最后把三个classifier合起来。

合起来后平面被分成六块，每一块都有自己的decision。
接下来要证明一句话：

warning of math

AdaBoost 有一个神奇的现象，左图，当classifer越来越多，training data 的error rate 很快变成0，但奇怪的是 test data 的error rate 依然会下降。右图，后来有人分析margin，classifer的增多会把margin往右推。

For example：

Adaboost + Decision Tree (depth = 5)

General Formulation of Boosting

Adaboost是一个特例。

---

Ensemble: Stacking

Voting