本文详细介绍了决策树算法，包括特征选择、决策树生成及剪枝。信息增益和信息增益比是衡量特征分类能力的标准，ID3和C4.5算法分别基于这两者构建决策树。决策树剪枝通过最小化损失函数来防止过拟合。CART算法则用于构建二叉决策树，采用平方误差最小化和基尼指数作为选择特征的准则。
决策树算法包括：特征选择、决策树的生成、决策树的剪枝。
决策树的生成对应于模型的局部选择，决策树的剪枝对应于模型的全局选择。
决策树的生成只考虑局部最优，决策树的剪枝则考虑全局最优。
1 特征选择
如果一个特征进行分类的结果与随机分类的结果没有很大差别，则称这个特征没有分类能力。
1.1 信息增益
信息熵：
条件熵：
信息增益：
经验熵表示对数据集D分类的不确定性；
经验条件熵表示在特征A给定的条件下对数据集D分类的不确定性；
二者之差，即信息增益，表示由于特征A
最低0.47元/天 解锁文章
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
