一篇讲的比较好的链接:
https://baijiahao.baidu.com/s?id=1595106694519834247&wfr=spider&for=pc
内容相似的博客:
https://blog.youkuaiyun.com/neil3611244/article/details/82829103
香农信息量:-logP(x),它用来衡量随机变量X在x处的香农信息量
信息熵(又称为香农信息熵):反应随机变量整体的信息量,它是香农信息量的数学期望:
不确定性越大,熵越大。
交叉熵:假设样本分布为P,我们深度网络学习的分布为Q。交叉熵则是用于衡量Q在拟合样本分布P过程中,用于消耗不确定性而充分利用的信息量大小。
KL散度:两个概率分布的相对熵,称为KL散度,用于刻画两个概率分布的拟合程度。
在生成对抗网络中(GAN),噪声生成的数据的概率分布Q拟合真实数据的概率分布P
KL散度=信息熵-交叉熵
JS散度:JS散度的出现是为了解决KL散度的不对称问题,因此是对称的,用于衡量两种不同分布之间的差异。取值在0~1之间。