机器学习/数据挖掘面试问题——第8章 集成学习

学习路线参考《机器学习》周志华

其他参考书：《机器学习实战》《数据挖掘》《百面机器学习》

还在更新ing...

1.什么是集成学习？

通过构建并结合多个学习器来完成学习任务。同质：集成的个体学习器（基学习器）相同，异质：集成的个体学习器不同

2.集成学习分为哪几种？有何异同？

（1）个体学习器间存在强依赖关系、必须串行生成的序列化方法；代表：Boosting

（2）个体学习器之间不存在强依赖关系，可同时生成的并行化方法；代表：Bagging,Random Forest

2.1 Boosting

2.1.1 Boosting的基本原理是什么？

Boosting是一族可以将弱学习器提升为强学习器的算法，工作机制：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续得到更多的关注，然后根据调整后的样本分布来训练下一个基学习器，如此重复进行直到基学习器数目达到事先指定的值T，最终将这T个基学习器进行加权结合。

2.1.2 Adaboost的基本原理是什么？

思想：对分类正确的样本降低了权重，对分类错误的样本升高或保持权重不变。在最后模型融合的时候，也根据错误率对基分类器进行加权融合。

假设前提：二分类问题、损失函数为指数形式。学习T个个体学习器和相应的权重，使得它们的加权和能够最小化损失函数

2.1.3 Boosting Tree 提升树的基本原理是什么？

每一轮都训练一个回归树去拟合当前模型的残差