信息增益熵信息增益率

关注

转载最新推荐文章于 2026-05-27 12:15:52 发布 969 阅读 AI 写同款· GEO 优化 ›

机器学习---决策树的划分依据（熵、信息增益、信息增益率、基尼值和基尼指数）当每⽀球队夺冠概率相等都是 1/16 的时侯，Ent(D) = -（16 * 1/16 * log1/16） = 4。假如有 16 ⽀球队，分别编号，先问是否在 1-8 之间，如果是就继续问是否在 1-4 之间，以此类。从信息的完整性上进⾏的描述：当系统的有序状态⼀致时，数据越集中的地⽅熵值越⼩，数据。从信息的有序性上进⾏的描述：当数据量⼀致时，系统越有序，熵值越低；例子：假设我们没有看世界杯的⽐赛，但是想知道哪⽀球队会是冠军，我们只能猜测某⽀球队是。其中：Ent(D) 的值越⼩，则 D 的纯度越⾼。阅读详情

1、熵（Entropy）

理论上来说用于决策树的属性选择函数，为方便计算，往往是定义为其属性的不纯性度量，那么必须满足如下三个条件：

当结点很纯时，其度量值应为0
当不纯性最大时（比如所有类都有同样的可能），其度量值应最大
度量应该服从多级特性，这样决策树才能分阶段建立起来
$m e a s u r e ([2, 3, 4]) = m e a s u r e ([2, 7]) + 7 9 \times m e a s u r e ([3, 4])$

而熵（Entropy）能够满足以上三点特性。熵（Entropy）是由“信息论之父”香农提出的，更多的各种历史、数学理论请查看参考[1]。接下来，看看熵的计算公式如下：

e n t r o p y (p 1, p 2, \dots, p n) = - p 1 l o g 2 (p 1) - p 2 l o g 2 (p 2) - \dots - p n l o g 2 (p n)

其中， pi 为比例值。其实，熵也可以用另外一种意思来解释：

Given a probability distribution, the info required to predict an event is the distribution’s entropy. Entropy gives the information required in bits (this can involve fractions of bits!)

可以简单的理解为“熵”描述了用来预测的信息位数。接下来看个例子：

如下表所述的天气数据，学习目标是预测Play or not play?

表1 天气预报数据集例子

Outlook	Temperature	Humidity	Windy	Play?
sunny	hot	high	false	no
sunny	hot	high	true	no
overcast	hot	high	false	yes
rain	mild	high	false	yes
rain	cool	normal	false	yes
rain	cool	normal	true	no
overcast	cool	normal	true	yes
sunny	mild	high	false	no
sunny	cool	normal	false	yes
rain	mild	normal	false	yes
sunny	mild	normal	true	yes
overcast	mild	high	true	yes
overcast	hot	normal	false	yes
rain	mild	high	true	no

共14个实例，9个正例（yes），5个负例（no）。

这样当前数据的信息量（原始状态）用熵来计算就是：

i n f o (p l a y ?) = i n f o ([9, 5]) = e n t r o p y (9 14, 5 14) = - 9 14 l o g 2 (9 14) - 5 14 l o g 2 (5 14) = 0.410 + 0.530 = 0.940

有了上面计算熵（信息）的基础，接下来看信息增益了。

2、信息增益（Info Gain）

信息增益，按名称来理解的话，就是前后信息的差值，在决策树分类问题中，即就是决策树在进行属性选择划分前和划分后的信息差值，即可以写成：

g a i n () = i n f o b e f o r e S p l i t () - i n f o a f t e r S p l i t ()

如上面的例子，通过使用Outlook属性来划分成下图：

图1 使用Outlook属性划分决策树

在划分后，可以看到数据被分成三份，则各分支的信息计算如下：

i n f o ([2, 3]) = - 2 5 l o g 2 (2 5) - 3 5 l o g 2 (3 5) = 0.971 b i t s

i n f o ([4, 0]) = - 4 4 l o g 2 (4 4) - 0 4 l o g 2 (0 4) = 0 b i t s

，此处虽然

log2(0) 没有定义，但

0×log2(0) 仍然计算为0。

i n f o ([3, 2]) = - 3 5 l o g 2 (3 5) - 2 5 l o g 2 (2 5) = 0.971 b i t s

因此，划分后的信息总量应为：

i n f o ([2, 3], [4, 0], [3, 2]) = 5 14 \times 0.971 + 4 14 \times 0 + 5 14 \times 0.971 = 0.693 b i t s

如果把上面的公式整理到一起的话，就是：

$$ info([2,3], [4,0], [3,2]) = \frac{5}{14}\times info([2,3]) + \frac{4}{14}\times info([4,0]) + \frac{5}{14}\times info([3,2])

= 0.347 + 0 + 0.347 = 0.694 bits $$

从上面可以看出，划分后的信息总量计算公式为：

i n f o (S 1, \dots, S n) = \sum i n | S i | | S | \times e n t r o p y (S i)

其中，n表示划分后的分支数目， |S| 表示划分前的实例个数， |Si| 表示划分后某个分支的实例个数。

最后，信息增益

g a i n (o u t l o o k | p l a y ?) = i n f o b e f o r e S p l i t () - i n f o a f t e r S p l i t () = i n f o (p l a y ?) - i n f o ([3, 2], [4, 0], [3, 2]) = 0.940 - 0.694 = 0.246 b i t s

通过划分其他属性，可得到其他的树如下：

图2 使用其他属性划分决策树

同样计算，

g a i n (T e m p e r a t u r e | p l a y ?) = i n f o ([9, 5]) - i n f o ([2, 2], [4, 2], [3, 1]) = 0.940 - (4 14 \times i n f o ([2, 2]) + 6 14 \times i n f o ([4, 2]) + 4 14 \times i n f o ([3, 1])) = 0.028 b i t s

g a i n (H u m i d i t y | p l a y ?) = 0.152 b i t s

g a i n (W i n d y | p l a y ?) = 0.048 b i t s

这样，算法会选择最大的信息增益属性来进行划分，在此处为Outlook属性。接下来在Outlook=sunny结点，按照同样的判断方法，选择其他属性进行划分，

图3 继续划分决策树

计算如下：

i n f o b e f o r e S p l i t () = i n f o ([2, 3]) = 0.971 b i t s

2个正例，3个负例，计算其熵

g a i n (T e m p e r a t u r e | O u t l o o k, P l a y ?) = 0.571 b i t s

g a i n (H u m i d i t y | O u t l o o k, P l a y ?) = 0.971 b i t s

g a i n (W i n d a y | O u t l o o k, P l a y ?) = 0.020 b i t s

因而可以得到下一个划分结点是Humidity属性。在这里的Temperature有三个值，因而其info([2,2,1])使用简便方法计算为：

i n f o ([0, 2], [1, 1], [1, 0]) = 2 5 \times i n f o ([0, 2]) + 2 5 \times i n f o ([1, 1]) + 1 5 \times i n f o ([1, 0]) = 0.4 b i t s

因此 gain(Temperature|Outlook,Play?)=0.971–0.4=0.571bits 。另外，由于要计算的是信息增益最大，在划分前信息总量 infobeforeSplit() 一定的情况下，我们完全可以直接求划分后信息量最小的特性即可。

3、信息增益率（Info Gain Ratio）

通过上面的例子，想必对于信息增益的计算步骤已经熟悉些了。那么下面来看信息增益存在的一个问题：假设某个属性存在大量的不同值，如ID编号（在上面例子中加一列为ID，编号为a~n），在划分时将每个值成为一个结点，这样就形成了下面的图：

图4 信息增益偏向

最终计算得到划分后的信息量为： info(S1,…,Sn)=∑ni=1|Si||S|×entropy(Si)=0 ，因为 entropy(Si)=info([1,0]) 或 info([0,1]) ，只含一个纯结点。这样决策树在选择属性时，将偏向于选择该属性，但这肯定是不正确（导致过拟合）的。因此有必要使用一种更好的方法，那就是C4.5中使用的信息增益率（Info Gain Ratio），其考虑了分支数量和尺寸的因素，使用称为内在信息（Intrinsic Information）的概念。

Gain ratio takes number and size of branches into account when choosing an attribute, and corrects the information gain by taking the intrinsic information of a split into account (i.e. how much info do we need to tell which branch an instance belongs to).

内在信息（Intrinsic Information），可简单地理解为表示信息分支所需要的信息量，其计算公式如下：

I n t r i n s i c I n f o (S, A) = - \sum | S i | | S | l o g 2 | S i | | S |

则针对上图中的例子，

i n f o ([1, 1, \dots, 1]) = 14 \times (- 1 14 l o g 2 1 14) = 3.807 b i t s

信息增益率则计算如下：

g a i n r a t i o (A t t r i b u t e) = g a i n ( A t t r i b u t e ) I n t r i n s i c I n f o ( A t t r i b u t e )

依然如上例：

g a i n r a t i o (I D C o d e) = 0.940 b i t s 3.807 b i t s = 0.246

实际上可以看出，属性的重要性会随着其内在信息（Intrinsic Information）的增大而减小。信息增益率作为一种补偿（Compensate）措施来解决信息增益所存在的问题，但是它也有可能导致过分补偿，而选择那些内在信息很小的属性，这一点可以尝试：首先，仅考虑那些信息增益超过平均值的属性，其次再比较信息增益。

4、Gini Index

在CART里面划分决策树的条件是采用Gini Index，定义如下：