python 3计算KL散度（KL Divergence）

最新推荐文章于 2025-04-25 01:23:43 发布

原创最新推荐文章于 2025-04-25 01:23:43 发布 · 633 阅读

0 ·

CC 4.0 BY-SA版权

博客介绍了利用 Python 3 进行计算，提及范围可能是 0 到 1，散度值越小表示两个分布越接近，还给出了相关参考链接。

程序

利用python 3计算

import numpy as np
import scipy.stats

# 随机生成两个离散型分布
x = [np.random.randint(1, 11) for i in range(10)]
print(x)
print(np.sum(x))
px = x / np.sum(x)
print(px)
y = [np.random.randint(1, 11) for i in range(10)]
print(y)
print(np.sum(y))
py = y / np.sum(y)
print(py)

# 利用scipy API进行计算
# scipy计算函数可以处理非归一化情况，因此这里使用
# scipy.stats.entropy(x, y)或scipy.stats.entropy(px, py)均可
KL = scipy.stats.entropy(x, y) 
print(KL)

# 编程实现
KL = 0.0
for i in range(10):
    KL += px[i] * np.log(px[i] / py[i])
    # print(str(px[i]) + ' ' + str(py[i]) + ' ' + str(px[i] * np.log(px[i] / py[i])))

print(KL)

20210715

https://blog.youkuaiyun.com/qtlyx/article/details/51834684

范围应该是0到1？散度值越小越接近于0 表示两个分布越接近反之越大

https://zhuanlan.zhihu.com/p/93853664