16、信息论：编码优化与熵的应用

信息论：编码优化与熵的应用

1. 定制摩尔斯电码

在信息传输中，如何提高效率是一个关键问题。以《金银岛》的传输为例，我们可以通过优化编码来实现这一目标。

1.1 固定长度编码

假设我们使用一种想象中的摩尔斯电码，为每个字符分配相同数量的点和划符号。如果使用四个符号，只能标记 16 个字符；而使用五个符号，则可以标记 32 个字符。为了简化，我们用不同音调表示点和划，每个点（黑点）为高音调持续一个单位时间（dit），每个划（红色方块）为低音调持续一个 dit。这样，每个字符发送需要 9 个 dit（5 个符号和 4 个符号间的沉默时间），这就是固定长度编码。

例如，《金银岛》的前两个单词 “Squire Trelawney” 共 15 个字母（忽略空格），使用这种编码需要 9×15 = 135 个 dit 来发送字符，再加上字母间的 14 个沉默，每个沉默 3 个 bit，共 3×14 = 42 个 bit，总共需要 135 + 42 = 177 个 dit 的时间。

1.2 自适应编码

实际的摩尔斯电码中，常见字母的符号数量通常比不常见字母少。同样以 “Squire Trelawney” 为例，使用实际摩尔斯电码计算所需元素（点和划各占一个 dit），只需要 101 个 dit 的时间，约为固定长度编码所需时间的一半（101 / 177 ≈ 0.57）。

这种节省时间的方法是因为编码与要发送的内容相适应。我们将通过匹配短模式和高概率事件来提高效率的编码称为可变比特率编码，或更简单地称为自适应编码。对于《金银岛》全文，约 338,000 个字符（不包括空格、标点等），自适应编码所需时间仅为固定长