本文介绍了信息熵、条件熵、信息增益的概念，并展示了如何在Python中计算这些值，特别是在文本分类中的应用。通过信息增益计算，可以进行特征选择，其中条件熵越小的特征越重要。同时，文中还涉及到了卡方值的计算，用于衡量实际观察值与理论值之间的偏差。通过示例代码，演示了如何在实际文本数据中进行特征选择的过程。
信息熵：描述信息系统的混乱程度(不确定度)。信息越确定，越单一，信息熵越小。信息越不确定，越混乱，信息熵越大。因此一个系统的信息熵越高就越无序，信息熵越低就越有序，信息熵越高，使其有序所要消耗的信息量就越大。
条件熵：在某种情况下的混乱度。
信息增益=整体信息熵-条件熵
指的就是熵的减少量，代表了在一个条件下，信息复杂度(不确定性)减少的程度。信息增益是特征选择中的一个重要指标，它定义为一个特征能够为分类系统带来多少信息，带来的信息越多，该特征越重要。
文本分类中，要计算各个单词信息增益例子：
信息增益法，把特征词看做一个变量特征，那么词的变量只有缺失与存在的两种情况下，那么特征词的信息增益=系统的信息熵-特征词的条件熵(文本分类中，根据特征词的条件熵倒排就可以做特征选择，即条件熵越小改特征词越重要)
某个词的条件熵=存在的概率*存在时的信息熵+缺失的概率*缺失时的信息熵
比如：在一个只有火锅和烧烤两个分类下，有100条短文本,68条为火锅分类，32条为烧烤。其中有10条文本含有'牛肉'这个词语，其中8条属于火锅分类，2条是属于烧烤分类。
那么牛肉这个词语在这个文本分类当中的信息增益计算过程为：
牛肉这个单词在文本分类中基尼不纯度计算：
最低0.47元/天 解锁文章
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
