考虑某个未知的分布 p ( x ) p(x) p(x)，假定我们已经使用了一个近似的分布 q ( x ) q(x) q(x)对它进行了建模。如果我们使用 q ( x ) q(x) q(x)来建立一个编码体系，用来把x的值传给接受者，那么由于我们使用了 q ( x ) q(x) q(x)而不是真正的 p ( x ) p(x) p(x)，因此在具体化x的值时，我们需要一些附加信息。我们需要的平均的附加信息量为 K L ( p ∣ ∣ q ) = − ∫ p ( x ) l n q ( x ) d x − ( − ∫ p ( x ) l n p ( x ) d x ) KL(p||q)=-\int p(x)\mathrm{ln} q(x)dx-(-\int p(x)\mathrm{ln}p(x)dx) KL(
最低0.47元/天 解锁文章
扫一扫
787
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
