Jensen–Shannon divergence

最新推荐文章于 2025-09-14 10:25:52 发布

原创最新推荐文章于 2025-09-14 10:25:52 发布 · 7.2k 阅读

·

0

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

AI 同时被 2 个专栏收录

14 篇文章

订阅专栏

神经网络基础

7 篇文章

订阅专栏

本文介绍了一种衡量两个概率分布相似性的方法——Jensen-Shannon散度（JSD）。JSD是对Kullback-Leibler散度的对称化和平滑化改进，其值域固定且总是有限的。文章详细解释了JSD的定义及其与Kullback-Leibler散度的关系。

Jensen–Shannon divergence（J-S散度） is a method of measuring the similarity between two probability distributions.

It is based on the Kullback–Leibler divergence（K-L散度）, with some notable

(and useful) differences, including that it is symmetric and it is always a finite value.

The Jensen–Shannon divergence (JSD) $M_{+}^{1}(A)\times M_{+}^{1}(A)\rightarrow [0,\infty {})$ is a symmetrized and smoothed version of the Kullback–Leibler divergence $D(P\parallel Q)$ . It is defined by：

${{\rm {JSD}}}(P\parallel Q)={\frac {1}{2}}D(P\parallel M)+{\frac {1}{2}}D(Q\parallel M)$ where $M={\frac {1}{2}}(P+Q)$

The Jensen–Shannon divergence is bounded by 1 for two probability distributions, given that one uses the base 2 logarithm. $0\leq {{\rm {JSD}}}(P\parallel Q)\leq 1$

For log base e, or ln, which is commonly used in statistical thermodynamics, the upper bound is ln(2): $0\leq {{\rm {JSD}}}(P\parallel Q)\leq \ln(2)$

评论

成就一亿技术人!

拼手气红包6.0元

还能输入1000个字符

添加红包

插入表情

表情包

代码片

HTML/XML
objective-c
Ruby
PHP
C
C++
JavaScript
Python
Java
CSS
SQL
其它

条评论被折叠查看

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。