15、信息论基础：熵、相对熵与互信息解析

信息论基础：熵、相对熵与互信息解析

1. 条件熵的概念与关系

在信息论中，条件熵是一个重要的概念。对于两个变量 (x) 和 (y)，给定 (x) 时 (y) 的条件熵，它反映了在已知 (x) 的情况下，描述 (y) 所需的额外信息。通过乘积规则可以容易地得出，条件熵满足以下关系：
[H[x, y] = H[y|x] + H[x]]
其中，(H[x, y]) 是联合概率分布 (p(x, y)) 的微分熵，(H[x]) 是边缘分布 (p(x)) 的微分熵。这意味着描述 (x) 和 (y) 所需的信息，等于单独描述 (x) 所需的信息加上在已知 (x) 的情况下描述 (y) 所需的额外信息。

为了更直观地理解，我们可以用一个简单的表格来表示：
|信息描述|所需信息|
| ---- | ---- |
|描述 (x) 单独信息|(H[x])|
|已知 (x) 时描述 (y) 的额外信息|(H[y|x])|
|描述 (x) 和 (y) 的联合信息|(H[x, y])|

下面是一个简单的 mermaid 流程图，展示了它们之间的关系：

graph LR
    A[描述 \(x\) 信息 \(H[x]\)] --> C[描述 \(x\) 和 \(y\) 联合信息 \(H[x, y]\)]
    B[已知 \(x\) 描述 \(y\) 额外信息 \(H[y|x]\)] --> C

2. 相对熵与互信息的引入

2.1 相对熵的定义与意义

考虑一个未