把互信息写成KL散度的形式

$p(y)$表示变量y的分布；
$p(y|x)$表示已知x的情况下y的分布；
$KL$表示两个分布之间的差异；
$E_x$表示按变量x求期望。
由此可以看出，互信息其实就是：已知x之后y的分布 和 原始y分布 之间差异的期望。