sklearn--集成学习（理论）

【转】

目录

南京大学的周志华教授对集成学习有深入的研究，其在09年发表的一篇概述性论文http://cs.nju.edu.cn/zhouzh/zhouzh.files/publication/springerEBR09.pdf

1 前言
2 集成学习是什么？
3 偏差和方差
　　3.1 模型的偏差和方差是什么？
　　3.2 bagging的偏差和方差
　　3.3 boosting的偏差和方差
　　3.4 模型的独立性
　　3.5 小结
4 Gradient Boosting
　　4.1 拟合残差
　　4.2 拟合反向梯度
　　　　4.2.1 契机：引入损失函数
　　　　4.2.2 难题一：任意损失函数的最优化
　　　　4.2.3 难题二：无法对测试样本计算反向梯度
　　4.3 常见的损失函数
　　4.4 步子太大容易扯着蛋：缩减
　　4.5 初始模型
　　4.5 Gradient Tree Boosting
　　4.6 小结
5 总结
6 参考资料