16、信息论：编码优化与熵的应用

信息论：编码优化与熵的应用

1. 定制摩尔斯电码

在信息传输中，如何提高效率是一个关键问题。以发送《金银岛》文本为例，我们可以借助字母的概率分布来优化摩尔斯电码的使用。

首先，让我们设想一种特殊的摩尔斯电码。在这个版本中，每个字符都被分配相同数量的点和划符号。若使用四个符号，只能标记 16 个字符；而使用五个符号，则可以标记 32 个字符。

为了简化操作，我们用不同音调来区分点和划，每个点（用黑点表示）是持续一个短时间单位（dit）的高音调，每个划（用红色方块表示）是持续一个 dit 的低音调。这样，每个字符的发送需要九个 dit 的时间（五个用于点和划，即现在的高低音调，四个用于它们之间的停顿）。这就是一个定长编码（也称为固定长度编码）的例子。

以《金银岛》文本中的前两个单词 “Squire Trelawney” 为例，在我们的双音调摩尔斯电码版本中，每个字符需要 9 个 dit，15 个字母（忽略空格）就需要 9 × 15 = 135 个 dit 的时间来发送。再加上字母之间的 14 个停顿，每个停顿占 3 个 bit，总共需要 3 × 14 = 42 个 bit，所以这个固定长度的消息总共需要 135 + 42 = 177 个 dit 的时间。

而实际的摩尔斯电码中，大多数情况下，常见字母的符号数量比不常见字母少。同样以 “Squire Trelawney” 为例，统计其点和划（每个点和划现在都只占一个 dit）的数量，发现使用实际摩尔斯电码只需要 101 个 dit 的时间，大约是固定长度编码所需时间的一半（101 / 177 ≈ 0.57）。这种节省源于将编码与要发送的内容相匹配。任何通过将短模式与高概率事件相匹配来提高效率的编码，都被称