XGBoost 与 Boosted Tree

1.注意在用泰勒公式展开的时候有点复杂：

展开的函数是l()函数，并不包含后面的惩罚项和常数，l()函数里的y（hat）是自变量x，而ft(Xi)是其增量；

2.注意样本集合 Ij的意思是：对每一个叶子节点j，它对应的若干个样本，用i表示；在随后的Obj函数计算中，把对N的累加换成了

对T的累加，一个t对应若干个样本，实际上两者是等价的；

3.随后的对叶子节点分割的部分，实际上和《统计学习方法》中的提升回归树原理相同，对树不断进行变型的操作就是对叶子节点

去分割，一定要注意w∗j       

就是我们要添加的那棵树，目标就是不断对树变型，使得后面的Obj的值最小，所以Obj是评判标准。

4.XGBoost实际上就是实现了这篇文章思想的一个工具，它并行化实现，并且在此基础上对系统进行了一定的优化。

原文见：http://www.52cs.org/?p=429 陈天奇