18、信息论与贝叶斯统计：概念、应用与算法

信息论与贝叶斯统计：概念、应用与算法

1. 信息论基础

1.1 互信息示例

以质数和偶数的例子来计算相关信息论指标。已知 $H (X) = H (Y ) = 1$，条件分布 $p(Y |X)$ 经每行归一化后如下：
| | Y = 0 | Y = 1 |
| — | — | — |
| X = 0 | 1/4 | 3/4 |
| X = 1 | 3/4 | 1/4 |

据此计算条件熵：
$H (Y |X) = - [\frac{1}{8} \log_2 \frac{1}{4} + \frac{3}{8} \log_2 \frac{3}{4} + \frac{3}{8} \log_2 \frac{3}{4} + \frac{1}{8} \log_2 \frac{1}{4} ] = 0.81$ 比特
互信息为：
$I (X; Y ) = H (Y ) - H (Y |X) = (1 - 0.81)$ 比特 $= 0.19$ 比特

可以验证联合熵：
$H (X, Y ) = H (X|Y ) + I (X; Y ) + H (Y |X) = (0.81 + 0.19 + 0.81)$ 比特 $= 1.81$ 比特

1.2 条件互信息

条件互信息定义如下：
$I (X; Y |Z) \triangleq E_{p(Z)} [I(X; Y )|Z]$
$= E_{p(x,y,z)} [\log \frac{p(x, y|z)}{p(x|z)p(y|z)} ]$
$= H (X|Z) + H (Y |Z) - H (