利用Adaboost构造多个弱分类器进行分类

随机森林与Adaboost之间的区别

1. 随机森林里的树为满二叉树
   而Adaboost里的树为树桩(只有根节点和2个叶子节点)
   
   
2. 在进行预测时 随机森林中的每棵树拥有同样的话语权
   而adaboost中每棵树的话语权都是不一样的
   
3. 随机森林哪棵树先进行预测无所谓 但adaboost有影响
   

如何构造第一个弱分类器(树桩)

1. 先给每个样本一个初始的权重=1/样本总数
   

2. 确定选用哪个特征:Gini系数
   分别计算左右两边的纯度:1-(预测正确的比例)²-(预测错误的比例)² 然后加权平均
   例如Chest Pain这个特征:
   左边:1-(3