2、编码理论中的基本概念与重要定理

编码理论中的基本概念与重要定理

1. 常见编码类型

1.1 重复码

重复码适用于任意长度 (n) 和任意字母表 (A)。消息是字母表中的一个字母，编码时将其重复 (n) 次。解码可通过多数表决进行，不过可能需要任意打破平局。最基本的情况是二进制重复码，其字母表 (A = {0, 1})。对于奇数长度的二进制重复码，多数表决解码总能得出结果。例如长度为 26 和 27 的二进制重复码就属于此类。

1.2 奇偶校验码和和为 0 码

奇偶校验码是实践中最古老的一类码。长度为 (n) 的奇偶校验码由所有包含偶数个 1 的二进制 (n) 元组组成（字母表 (A = {0, 1})）。任意 (n - 1) 个坐标位置可视为携带信息，剩余位置用于“校验”信息集的奇偶性。单个比特错误的发生可以被检测到，因为接收到的 (n) 元组的奇偶性将变为奇数而非偶数，但无法确定错误发生的位置。奇偶校验码能够纠正单个擦除。当字母表允许加法运算时，可定义一种和为 0 码，即所有坐标元素之和为 0 的 (n) 元组。当字母表为模 2 整数时，就是通常的奇偶校验码。

1.3 [7, 4] 二进制汉明码

这是一种高效的码，能够完全纠正单个错误，传输速率为 (C = 4/7)。具体规则如下：设一个由七个符号组成的块为 (X_1, X_2, \cdots, X_7)（每个符号为 0 或 1），其中 (X_3, X_5, X_6) 和 (X_7) 是消息符号，由信源任意选择，另外三个是冗余符号，计算方式如下：
- (X_4) 使得 (\alpha = X_4 + X_5 + X_6 + X_7) 为偶数；
- (X_2) 使得 (\