归一化互信息(NMI)评价指标

最新推荐文章于 2025-02-24 13:33:03 发布

置顶易_

最新推荐文章于 2025-02-24 13:33:03 发布

阅读量4.5w

点赞数 13

分类专栏：机器学习文章标签：机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/hang916/article/details/88783931

版权

机器学习专栏收录该内容

10 篇文章

订阅专栏

本文介绍了信息论中的核心概念，包括信息熵、相对熵(KL散度)及互信息的概念与计算方法。信息熵是对信息量化的度量，相对熵衡量两个概率分布之间的差异，而互信息则描述了两个随机变量间的相关性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

信息熵

对信息进行量化度量。可以理解为某种特定信息的出现概率。

计算公式

$\large H(X)=-\sum_i p(x_{i})logp(x_{i})$

相对熵

【百度百科】相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence，KL散度）或信息散度（information divergence），是两个概率分布（probability distribution）间差异的非对称性度量。在在信息理论中，相对熵等价于两个概率分布的信息熵（Shannon entropy）的差值。

计算公式

设 p(x),q(x) 是随机变量上的两个概率分布，则在离散与连续随机变量的情形下，相对熵的定义分别为：

$KL(p||q) = \sum p(x)log \frac{p(x)}{q(x)}$

$KL(p||q) = \int p(x)log \frac {p(x)}{q(x)}$

值得注意的是，KL散度可以理解为距离，但不是真的距离，即p对q的相对熵与q对p的相对熵不相等。即：

$KL(p||q) \neq KL(q||p)$

互信息

【百度百科】互信息(Mutual Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。

计算公式

设两个随机变量 (X,Y) 的联合分布为 p(x,y) ，边缘分布分别为 p(x),p(y)

互信息 I(X;Y) 是联合分布 p(x,y) 与乘积分布 p(x)(y) 的相对熵，即公式为：

$I(X;Y)=\sum_x\sum_y p(x,y) log \frac{p(x,y)}{p(x)p(y)}$

归一化互信息(NMI)

顾名思义，将互信息放在[0,1]之间，容易评价算法的好坏。比较常见的归一化方法：

计算公式

$NMI(X;Y) = 2\frac {I(X;Y)}{H(X)+H(Y)}$

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。