python实现信息熵和条件熵

最新推荐文章于 2024-09-14 09:04:29 发布

原创最新推荐文章于 2024-09-14 09:04:29 发布 · 3.3k 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#python #机器学习 #信息熵 #条件熵

统计方法学笔记专栏收录该内容

2 篇文章

订阅专栏

信息熵是衡量信息复杂性和不确定性的概念，表示事件的不确定性越大，熵值越高。条件熵则是在已知某个变量情况下，另一个变量的不确定性。文章通过公式介绍了如何计算信息熵和条件熵，并提供了Python实现代码，帮助理解这两个概念。

信息熵

信息熵，可以用来衡量一个信息的复杂程度，通俗的理解就是表示了这件事的不确定性，如果其不确定性越大，则信息熵的值也就越大，反之，则越小。
对于随机事件X，用 $p_{x}$ 表示事件x发生的概率，则随机事件X的信息熵可以表示为：
$H(X)=−∑i=0npxlogpx{\Large H(X) = - \sum_{i=0}^{n}p_{x} logp_{x}}$
用python实现信息熵：

#计算信息熵,data为series对象
def getEntropy(data):
    if not isinstance(data,pd.core.series.Series):
        s = pd.Series(data)
    prt_ary = data.groupby(data).count().values / float(len(data))
    return sum(-(np.log2(prt_ary)*prt_ary))

条件熵

条件熵，表示在已知随机变量X的情况下，随机变量Y的不确定性。公式定义如下：
$H(Y∣X)=∑xpxH(Y∣X=x){\Large H(Y|X)=\sum_{x}^{} p_{x} H(Y|X=x)}$
python 实现条件熵的代码如下：

def getCondEntropy(data,xname,yname):
    xs = data[xname].unique()
    ys = data[yname].unique()
    p_x = data[xname].value_counts() / data.shape[0]
    ce = 0
    
    for x in xs:
        ce += p_x[x]*getEntropy(data[data[xname] == x][yname])
        print(str(x) + ":" + str(p_x[x]*getEntropy(data[data[xname] == x][yname])))
        
    return ce