熵、条件熵、联合熵、互信息关系及例题

原创

已于 2022-03-23 14:23:17 修改 · 1.7k 阅读

CC 4.0 BY-SA版权

文章标签：

于 2022-03-18 15:40:24 首次发布

该博客探讨了在通过有误码率的信道（BSC）传输信息时，如何利用信息熵和互信息量来量化传输的可靠性。具体分析了接收到的单个数字和连续四个数字与原始消息之间的互信息量，展示了这些概念在通信错误分析中的实际应用。

在这里插入图片描述

离散变量	连续变量
$H(X)=∑xi∈XP(xi)log⁡1P(xi)H(X)=\sum_{x_{i} \in X} P(x_{i}) \log \frac{1}{P(x_{i})}$	$H(X)=∫P(x)⋅log⁡1P(x)dxH(X)=\int P(x) \cdot \log \frac{1}{P(x)} d x$
$\mid Y)=\sum_{x_{i} \in X} \sum_{y_{j} \in Y} P(x_{i}, y_{j}) \log \frac{1}{P(x_{j} \mid y_{i})}$