本文介绍了机器学习中用于划分数据集的重要概念——信息增益和香农熵。首先阐述了信息增益的概念，它是衡量数据划分前后的信息变化。接着详细解释了熵的定义和计算方法，指出熵是信息的期望值，与分类的概率有关。通过计算熵，可以评估数据划分的效果。文章通过一个简单数据集的例子，展示了如何使用熵来比较不同特征划分数据集的优劣。最后提到了基尼不纯度，作为另一种衡量数据混杂程度的方式，虽然与熵相似，但在实际应用中，基尼不纯度计算更快且倾向于生成更偏向常见类别的决策树。
一、概念简述
如何合理的划分数据集？划分数据集的大原则是：将无序的数据变得更加有序。组织杂乱无章数据的一种方法就是使用信息论度量信息，在划分数据集之前之后信息发生的变化称为信息增益，知道如何计算信息增益，我们就可以 计算每个特征值划分数据集获得的信息增益，获得信息增益最高的特征就是最好的选择。
在可以评测哪种数据划分方式是最好的数据划分之前，我们必须学习如何计算信息增益。集合信息的度量方式称为香农熵或者简称为熵，这个名字来源于信息论之父克劳德·香农。
熵定义为信息的期望值，在明晰这个概念之前，我们必须知道信息的定义。如果待分类的事 务可能划分在多个分类之中，则符号xi的信息定义为
其中p(xi)是选择该分类的概率。
为了计算熵，我们需要计算所有类别所有可能值包含的信息期望值，通过下面的公式得到：
订阅专栏 解锁全文
扫一扫
757
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
