C4.5算法

最新推荐文章于 2024-06-28 20:05:44 发布

爱吃烧卖的馒头

最新推荐文章于 2024-06-28 20:05:44 发布

阅读量631

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/gyq423/article/details/82117035

机器学习专栏收录该内容

7 篇文章

订阅专栏

博客主要介绍了C4.5算法，它参照ID3算法，将分裂规则从信息增益最大变为信息增益率最大。还阐述了其节点分裂规则，总结了C4.5的特点，如克服ID3偏向属性多的属性的不足、支持连续变量，且和ID3一样只能用于分类。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

主要内容

（1）C4.5算法简介

（2）C4.5算法节点分裂规则

-------------------------------------------------------------------------------------------------------------------------

一、概述

参照ID3：https://blog.youkuaiyun.com/gyq423/article/details/81946089

C4.5相比于ID3，主要是将ID3的分裂规则（信息增益最大）变为信息增益率最大，其公式为

整体信息熵

$H(S)=\sum p_{i}log(p_{i})$

特征A的信息熵

$H(S|A) = \sum_{i} \frac{|c_{j}|}{|c|}p_{ij}log(p_{ij})$

特征A的信息增益

$G_{A}(S) = H(S) - H(S|A)$

特征A的信息增益率

$GainRatio(A) =\frac{G_{A}(S))}{H(S|A)}$

属性A的分布情况，混乱度越大，GainRatio越小，越纯净，GainRatio越大

二、总结

C4.5的特点：

（1）克服了ID3用信息增益选择属性时偏向于属性较多的属性的不足

（2）支持连续变量

（3）与ID3一样，只能用于分类

注：以上内容属个人理解，学艺不精，请各位大神多多指教

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。