p(y)p(y)p(y)表示变量y的分布;
p(y∣x)p(y|x)p(y∣x)表示已知x的情况下y的分布;
KLKLKL表示两个分布之间的差异;
ExE_{x}Ex表示按变量x求期望。
由此可以看出,互信息其实就是:已知x之后y的分布 和 原始y分布 之间差异的期望。
把互信息写成KL散度的形式
最新推荐文章于 2025-03-12 22:00:00 发布
p(y)p(y)p(y)表示变量y的分布;
p(y∣x)p(y|x)p(y∣x)表示已知x的情况下y的分布;
KLKLKL表示两个分布之间的差异;
ExE_{x}Ex表示按变量x求期望。
由此可以看出,互信息其实就是:已知x之后y的分布 和 原始y分布 之间差异的期望。