15、信息度量与编码方案：熵作为信息测度的深入解析

信息度量与编码方案：熵作为信息测度的深入解析

1. 信息度量基础

在现实场景中，并非所有消息出现的概率都是相等的，因此需要统计工具来处理这类情况。信息的传递本质上等同于减少不确定性。例如，在打开装有消息的信封之前，信封里可能包含集合 A 中的任何一条消息，但读取消息后，不确定性就降为零。若消息 (a, b) 中已知 a 的值，那么当 a 和 b 强相关时，得知 b 的值所减少的不确定性要小于 a 和 b 相互独立的情况。

2. 利用编码降低比特数

2.1 编码基础

编码是将消息集合 A 中的每个消息 a 与唯一的二进制字符串（即“码字”）关联起来。其中，枚举编码是将集合 A 中的元素进行枚举，每个元素的码字是其在列表中排名的二进制表示，所有码字长度相同，且仅适用于有限集合。但实际上，不一定要使用长度相同的码字集合。对于出现频率不同的消息，可以为频繁出现的消息使用较短的码字，为不常出现的消息使用较长的码字，如摩尔斯电码中，不常用字符（如 Q）的符号数量比常用字符（如 E）多。

2.2 枚举编码与前缀编码对比

以集合 A = {a1, a2, a3, a4} 为例，各消息的概率分别为 p(a1) = 1/2，p(a2) = 1/4，p(a3) = 1/8，p(a4) = 1/8。枚举编码和前缀编码的情况如下表所示：
| 消息 | 枚举编码 | 前缀编码 |
| — | — | — |
| a1 | 00，ℓ(a1) = 2 | 1，ℓ(a1) = 1 |
| a2 | 01，ℓ(a2) = 2 | 01，ℓ(a2) = 2 |
| a3 | 10，ℓ(a3) =