本文介绍了机器学习中的集成分类算法，包括ID3、C4.5和CART决策树的基本算法。接着，讨论了集成学习的两大类别：Bagging（如随机森林）和Boosting（如Adaboost）。随机森林通过样本和特征属性的随机选择增强模型的准确性和鲁棒性，而Adaboost则通过调整样本权值和模型权重，构建强分类器。集成学习通过结合多个弱分类器，实现了更好的泛化性能。
一、构建决策树的基本算法：
ID3算法：使用信息增益进行特征选择
C4.5算法：使用信息增益率进行特征选择，克服了信息增益选择特征的时候偏向于特征个数较多的不足
CART算法：分类回归树，属于二叉树，既可用于分类，分类树用到基尼系数最小化原则，也可以用于回归预测，回归树用平方差最小准则。依据损失函数最小标准进行树的剪枝，防止过拟合。
二、集成学习算法分为两种
第一种：在相同训练数据中随机选取特征来同时搭建多个独立的分类模型，通过投票的方式，以少数服从多数的为原则选出最优分类决策
Bagging：样本随机
Bagging算法首先采用M轮自助采样法，获得M个包含N个训练样本的采样集。然后，基于这些采样集训练出一个基学习器。最后将这M个基学习器进行组合。组合策略为：
分类任务采用简单投票法：即每个基学习器一票
回归问题使用简单平均法：即每个基学习器的预测值取平均值
随机森林：样本随机、特征属性随机
随机森林在以决策树为基学习器构建Bagging集成的基础上，进一步在决策树训练过程中对特征属性进行随机选择。
随机森林中两个可控参数：
森林中树的数量(一般取值较大)
抽取属性值的大小
随着学习器数目增加，随机森林会收敛于更低的泛化误差。随机森林有点如下：
（1）分类结果更加准确
（2）可以处理高维度的属性，并且不用做特征选择
（3）即使
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
