15、信息编码与熵：从摩尔斯电码到文本传输优化

信息编码与熵：从摩尔斯电码到文本传输优化

1. 定制摩尔斯电码以提高传输效率

在信息传输中，编码方式的选择对效率有着至关重要的影响。以发送《金银岛》文本为例，传统的摩尔斯电码已经有一定的优化，但我们可以进一步定制编码来提升效率。

首先，我们设想一种固定长度的编码方式。假设为每个字符分配相同数量的点和划符号。如果用四个符号，只能表示 16 个字符；而用五个符号，则可以表示 32 个字符。为了简化，我们使用不同的音调来区分点和划，每个点（用黑点表示）为高音，持续一个单位时间（dit），每个划（用红色方块表示）为低音，也持续一个 dit。这样，每个字符的发送需要 9 个 dit（5 个符号和 4 个符号间的停顿），这就是固定长度编码。

例如，《金银岛》的前两个单词 “Squire Trelawney” 共 15 个字母（忽略空格），按照这种固定长度编码，需要 9×15 = 135 个 dit 来发送字符，再加上字母间的 14 个停顿，每个停顿 3 个 bit，共 3×14 = 42 个 bit，总共需要 135 + 42 = 177 个 dit 的时间。

而实际的摩尔斯电码中，常见字母的符号通常比不常见字母的符号少。同样发送 “Squire Trelawney”，经过统计，使用实际摩尔斯电码只需要 101 个 dit 的时间，大约是固定长度编码所需时间的一半（101 / 177 ≈ 0.57）。这种效率的提升源于编码与发送内容的适配，我们将这种通过匹配短模式与高概率事件来提高效率的编码称为可变比特率编码，或自适应编码。

对于《金银岛》全文，约 338,000 个字符（不包括空格、标点等），自适应编码所需时间仅约为固定长度编码的 42%，能在不到非