4、经典香农理论：数据压缩的奥秘

经典香农理论：数据压缩的奥秘

1. 香农贡献概述

香农对现代科学的贡献具有不可估量的重要性。他开创了信息理论领域，并解决了该领域的两个主要定理，其在通信方面的理念在 1948 年左右远远超越了当时该领域的其他主流思想。我们将以描述性的方式探讨香农的两大主要贡献，旨在为信息理论问题领域建立直觉，并在深入研究类似的量子信息理论思想之前理解主要概念。这里会避免深入探讨技术细节。

2. 数据压缩问题

数据压缩是我们首先要讨论的问题。在互联网中，像 JPEG、MPEG、ZIP、GIF 等流行的数据格式都有对应的信息源输出压缩算法。乍一看，可能会认为无法将信息源的输出压缩到任意小的尺寸，而香农证明了确实如此，这就是香农的第一个无噪声编码定理的内容。

3. 数据压缩示例

• 场景设定 ：假设发送方爱丽丝和接收方鲍勃通过无噪声比特信道连接，该信道能完美传输信息，使用成本较高，因此他们希望尽量减少使用次数。信息源从四个符号 {a, b, c, d} 中随机选择，概率分布如下：
  • (Pr{a} = 1/2)
  • (Pr{b} = 1/8)
  • (Pr{c} = 1/4)
  • (Pr{d} = 1/8)
    信息源独立选择每个符号，选择后将符号交给爱丽丝编码。由于无噪声比特信道只接受比特输入，爱丽丝需要将信息编码为比特。
• 编码方案对比 ：
  • 方案一