香农信息熵、信息熵、交叉熵、KL散度和JS散度

本文深入探讨了信息论中的核心概念,包括香农信息量、信息熵、交叉熵、KL散度和JS散度,解释了它们在衡量信息不确定性及概率分布差异中的作用。特别是在深度学习和生成对抗网络(GAN)中,这些概念被广泛应用于评估模型的性能。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一篇讲的比较好的链接:

https://baijiahao.baidu.com/s?id=1595106694519834247&wfr=spider&for=pc

内容相似的博客:

https://blog.youkuaiyun.com/neil3611244/article/details/82829103

香农信息量:-logP(x),它用来衡量随机变量X在x处的香农信息量

信息熵(又称为香农信息熵):反应随机变量整体的信息量,它是香农信息量的数学期望:

不确定性越大,熵越大。

交叉熵:假设样本分布为P,我们深度网络学习的分布为Q。交叉熵则是用于衡量Q在拟合样本分布P过程中,用于消耗不确定性而充分利用的信息量大小。

KL散度:两个概率分布的相对熵,称为KL散度,用于刻画两个概率分布的拟合程度。

在生成对抗网络中(GAN),噪声生成的数据的概率分布Q拟合真实数据的概率分布P

KL散度=信息熵-交叉熵

JS散度:JS散度的出现是为了解决KL散度的不对称问题,因此是对称的,用于衡量两种不同分布之间的差异。取值在0~1之间。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值