Python计算KL散度

最新推荐文章于 2024-08-08 17:18:15 发布

Shy960418

最新推荐文章于 2024-08-08 17:18:15 发布

阅读量921

点赞数

文章标签： python numpy 开发语言

本文链接：https://blog.youkuaiyun.com/m0_37134868/article/details/130689225

版权

这篇文章展示了如何使用numpy生成离散型随机分布，然后利用scipy.stats库计算KL散度。首先，创建了两个随机整数列表并归一化，接着通过scipy的entropy函数计算散度。此外，还提供了手动编程实现KL散度的示例，以加深理解。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import numpy as np
import scipy.stats

# 随机生成两个离散型分布
x = [np.random.randint(1, 11) for i in range(10)]
print(np.sum(x))
px = x / np.sum(x)
y = [np.random.randint(1, 11) for i in range(10)]
py = y / np.sum(y)

# 利用scipy API进行计算
# scipy计算函数可以处理非归一化情况，因此这里使用
# scipy.stats.entropy(x, y)或scipy.stats.entropy(px, py)均可
KL = scipy.stats.entropy(x, y)
print(f'使用scipy API进行计算KL散度：{KL}')
KL = scipy.stats.entropy(px,py)
print(f'{KL}')
# 编程实现
KL = 0.0
for i in range(10):
    KL += px[i] * np.log(px[i] / py[i])
    # print(str(px[i]) + ' ' + str(py[i]) + ' ' + str(px[i] * np.log(px[i] / py[i])))
print(f'编程计算KL散度：{KL}')