C4.5——信息增益率

最新推荐文章于 2023-12-05 22:44:03 发布

woshizhouxiang

最新推荐文章于 2023-12-05 22:44:03 发布

阅读量7.6k

点赞数

分类专栏：机器学习数学文章标签：算法熵信息增益率

本文链接：https://blog.youkuaiyun.com/woshizhouxiang/article/details/17677429

版权

本文详细介绍了C4.5决策树算法中的信息增益率计算方法，包括信息熵、信息增益和分裂信息的计算过程，并通过一个实例展示了如何选择最优属性。C4.5算法以其易于理解和高准确性受到青睐，但存在效率较低的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

说明一下如何计算信息增益率。
熟悉了ID3算法后，已经知道如何计算信息增益，计算公式如下所示（来自Wikipedia）：
info-gain
或者，用另一个更加直观容易理解的公式计算：

按照类标签对训练数据集D的属性集A进行划分，得到信息熵：

info

按照属性集A中每个属性进行划分，得到一组信息熵：

infoA

计算信息增益

然后计算信息增益，即前者对后者做差，得到属性集合A一组信息增益：

这样，信息增益就计算出来了。

计算信息增益率

下面看，计算信息增益率的公式，如下所示（来自Wikipedia）：

其中，IG表示信息增益，按照前面我们描述的过程来计算。而IV是我们现在需要计算的，它是一个用来考虑分裂信息的度量，分裂信息用来衡量属性分裂数据的广度和均匀程序，计算公式如下所示（来自Wikipedia）：

简化一下，看下面这个公式更加直观：

其中，V表示属性集合A中的一个属性的全部取值。

我们以一个很典型被引用过多次的训练数据集D为例，来说明C4.5算法如何计算信息增益并选择决策结点。

上面的训练集有4个属性，即属性集合A={OUTLOOK, TEMPERATURE, HUMIDITY, WINDY}；而类标签有2个，即类标签集合C={Yes, No}，分别表示适合户外运动和不适合户外运动，其实是一个二分类问题。
我们已经计算过信息增益，这里直接列出来，如下所示：
数据集D包含14个训练样本，其中属于类别“Yes”的有9个，属于类别“No”的有5个，则计算其信息熵：

 
       1
       Info(D) = -9/14 * log2(9/14) - 5/14 * log2(5/14) = 0.940

下面对属性集中每个属性分别计算信息熵，如下所示：

 
       1
       Info(OUTLOOK) = 5/14 * [- 2/5 * log2(2/5) – 3/5 * log2(3/5)] + 4/14 * [ - 4/4 * log2(4/4) - 0/4 * log2(0/4)] + 5/14 * [ - 3/5 * log2(3/5) – 2/5 * log2(2/5)] = 0.694

最低0.47元/天解锁文章