KL与JS散度学习[转载]

转自：https://www.jianshu.com/p/43318a3dc715?from=timeline&isappinstalled=0

https://blog.youkuaiyun.com/ericcchen/article/details/72357411

https://www.cnblogs.com/smuxiaolei/p/7400923.html

实际含义包括数据和假设的概率模型之间的差距，也可以理解为损失。

当以2为底时表示的是，以当前形式标识信息损失了多少位。

1.数据的熵

当底数为2时，就是香农熵。

 2.KL散度度量信息损失

常见书写形式:

KL(p||q)和KL(q||p)并不相等，所以不是距离。

3.JS散度是对称的

 计算公式：用到了KL散度。

JS是有界对称的，界是[0,1]

 将KL公式代入进去即可。如果P1、P2完全相同，那么KL和JS都为0. 

 

转载于:https://www.cnblogs.com/BlueBlueSea/p/9985202.html