本文介绍了集成学习中的多种方法，包括SoftVoting、Bagging、Pasting、RandomSubspaces、RandomPatches、Extra-Trees及Boosting等。每种方法都有其特点，如SoftVoting考虑了模型的权值，而Extra-Trees通过随机特征和阈值来减少过拟合。Boosting则通过逐步增强模型效果来提升整体性能。
Soft Voting投票时有权值，更合理。
Bagging and Pasting：
放回取样：Bagging（也叫bootstrap）
不放回取样：Pasting
使模型产生差异化：
针对特征进行随机采样：Random Subspaces
既针对样本数量，又针对特征进行随机采样： Random Patches
使用决策树进行集成学习的方式也叫随机森林。
Extra-Trees:
决策树在节点划分上，使用随机的特征和随机的阈值，因此随机性更强。抑制过拟合（抑制了方差），但增大了偏差bias。训练速度更快。
Boosting:
集成多个模型，每个模型都在尝试增强（boosting）整体的效果。
Ada Boosting通过每次增加未预测成功的点的权值，生成新的子模型。
Stacking：
更复杂的Stacking模型：
扫一扫
1129
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
