与熵有关的知识

熵

熵是一个物理学、信息论等多个领域有着重要应用的概念。在物理学中的熵是用来衡量系统混乱程度的量，越混乱熵越大。在信息论中，熵是用来衡量信息的不确定性的量，如果发生一个事件的概率很低，那么它包含的信息量就很大，信息熵也就越高。

信息熵(香农熵)

值越小纯度越高。

基尼值

见西瓜书p79.

条件熵

联合熵

相对熵

交叉熵

Renyi熵

Tsallis熵

信息增益(香农信息增益)

见西瓜书p75。它对取值数目多的属性有偏好。值越大表示使用这个属性进行划分所获得的纯度提升越大。

增益率

对取值数目较少的属性有所偏好。值越大表示使用这个属性进行划分所获得的纯度提升越大。 

基尼指数

值越小表示使用这个属性进行划分所获得的纯度提升越大。