C4.5算法是ID3的改进版，采用了增益比例作为分支指标，能处理数值属性。它通过排序和选择分割点来划分数据，并对缺失值进行特殊处理。C4.5还会使用k次迭代交叉验证评估模型，最终生成易于理解的if-then规则。虽然准确率高，但排序和扫描数据降低了算法效率。
与ID3的不同之处：
（1）分支指标采用增益比例，而不是ID3所使用的信息增益；
（2）按照数值属性值的大小对样本排序，从中选择一个分割点，划分数值属性的取值区间，从而将ID3的处理能力扩充到数值属性上来。
（3）将训练样本集中的位置属性值用最常用的值代替，或者用该属性所有取值的平均值代替，从而处理缺少属性值的训练样本。
（4）使用k次迭代交叉验证，评估模型的优劣程度
（5）根据生成的决策树，可以产生一个if-then规则的集合，每一个规则代表从根节点到叶节点的一条路径。
增益比例
信息量（熵）split_info（S,A），其中，S代表训练样本集；A代表属性，这个信息量是与样本的类别无关的，计算公式如下：
最低0.47元/天 解锁文章
扫一扫
1206
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
