weixin_43854256的博客

熵 熵在信息论中被用来度量信息量，熵越大，所含的有用信息越多，其不确定性也就越大；熵越小，有用信息越少，确定性也就越大。 决策树中，用熵来表示样本集的不纯度，样本集中样本种类越小，确定性越高，熵值越小；样本种类越多，越不确定，熵值越大。 熵例子 设S是数量为n的样本集，其分类属性有n个不同的取值，用来定义m个不同的分类Ci(i=1,2,⋯,m)，则其熵的公式是： 如果有一个大小为10的布尔值样本集Sb，其中有6个真值，4个假值，那么该布尔型样本分类的熵是： 信息增益 计算得到熵作为衡量样本集合不纯度的指