5、信息论中的信道容量与编码定理

信息论中的信道容量与编码定理

1. 编码定理概述

在信息论中，证明编码定理通常包含两个部分：直接编码定理和逆定理。

直接编码定理需要给出一个编码方案，使其能达到信息处理任务的给定速率。对于无损数据压缩任务，若压缩速率大于信源的熵，则存在一种编码方案，能使错误解码的概率任意小，从而实现无损数据压缩。

逆定理则要证明直接编码定理中的速率是最优的，即无法找到比该速率更好的编码方案。具体表述为：若存在一种编码方案能以任意小的解码错误概率实现无损数据压缩，那么压缩速率必定大于信源的熵。

证明这两个部分所使用的技术截然不同。对于大多数信息论中的编码定理，直接编码定理可通过典型序列和大码块的思想来证明，这与随机数据序列在长度变长时的渐近均匀分割性质直接相关。而逆定理的证明则依赖于信息不等式，这些不等式能为编码构造中出现的熵量提供严格的界限。

2. 信道容量问题引入

接下来探讨在有噪声的经典信道上的信息传输问题。以在有噪声的比特翻转信道上传输单个比特信息为例，发送方 Alice 和接收方 Bob 之间通过有噪声的经典信道连接，信息传输不可靠。虽然有噪声的信道比无噪声的信道成本低，但使用起来仍有成本，因此他们希望最大化 Alice 能可靠传达给 Bob 的信息量，可靠通信意味着传输信息时的错误概率可忽略不计。

3. 纠错码示例：三比特多数表决码

• 编码规则 ：最简单的有噪声经典信道是比特翻转信道（二进制对称信道），该信道以概率 $p$ 翻转输入比特，以概率 $1 - p$ 保持输入比特不变。Alice 和 Bob 采用三比特多数表决码进行编码