【空间通信系统原理与技术】12 差错控制编码原理与技术

数字通信中的差错控制编码原理与技术手册

---

架构总览

---

1. 绪论

1.1 差错控制编码的基本概念

数字信息在传输或存储过程中，由于信道噪声、电磁干扰、设备故障等因素的影响，接收端获取的数据序列可能与发送端原始序列存在差异，这种现象称为传输差错。差错控制编码是通过在原始数据流中有目的地引入冗余信息，使接收端能够检测甚至纠正传输过程中产生的错误，从而保障通信可靠性的核心技术。

差错控制编码的本质在于利用冗余度换取可靠性。原始信息序列本身不具备抗干扰能力，因为所有可能的序列都是合法消息。编码过程通过建立信息位与冗余校验位之间的确定性数学关系，将全体可能的序列空间划分为合法码字集合与非法序列集合。接收端依据这种划分规则，判断接收序列是否受到干扰，并在可能的情况下恢复原始信息。

1.2 差错控制的基本策略

差错控制策略主要分为两大类：自动重传请求与前向纠错。

自动重传请求机制依赖于反馈信道。发送端传输编码后的数据，接收端进行差错检测。若检测到错误，接收端通过反馈信道向发送端发送否定确认信号，请求重传出错的数据帧。该策略要求发送端保留已发送数据的副本，并设置定时器管理重传时序。自动重传请求适用于非实时业务，但在实时性要求高的场景（如语音通话、视频会议、工业控制）中，重传引入的时延不可接受。

前向纠错机制在编码时引入足够的冗余，使接收端无需反馈即可直接纠正一定数量的错误。该策略虽然增加了传输带宽开销，但避免了反馈时延，特别适用于单向通信链路或实时应用。实际系统中常将两种策略结合使用，形成混合自动重传请求，在纠错能力范围内直接纠正，超出范围时请求重传。

1.3 错误类型与信道模型

1.3.1 随机错误

随机错误是指差错在数据序列中独立随机出现，每个比特发生错误的概率相互独立且服从同一分布。这类错误通常由高斯白噪声引起，错误之间没有相关性。在随机错误信道中，错误位置不可预测，但统计特性稳定。

1.3.2 突发错误

突发错误是指错误集中出现在连续若干个比特上，形成错误群。造成突发错误的物理原因包括无线通信中的深度衰落、脉冲噪声、存储介质中的划痕等。突发错误的特征是错误位置相关，单个错误事件影响连续多个比特。针对突发错误，常采用交织技术将突发错误分散为随机错误，或使用专门设计的突发错误纠正码。

1.3.3 擦除

擦除是一种特殊的差错形式，接收端明确知道某些比特的信息丢失或不可信，但不确定其原始值应为0还是1。与比特翻转错误相比，擦除提供了额外的状态信息（擦除标记），因此更容易处理。在擦除信道中，每个传输符号的接收结果可能是正确值或擦除标记。纠删码专门设计用于纠正擦除错误，在分布式存储和网络传输中有广泛应用。

---

2. 二进制对称信道与基础编码实例

2.1 二进制对称信道的数学描述

二进制对称信道是信息论与编码理论中最基本的信道模型，用于描述二进制数据在噪声干扰下的传输特性。该信道具有二进制输入与二进制输出，输入符号集与输出符号集均为 {0, 1}。

信道由交叉转移概率 $p$ 完全刻画，$p$ 表示发送比特被翻转的概率。信道转移概率满足以下关系：

$$P(Y=0\mid X=0)=P(Y=1\mid X=1)=1-p$$

$$P(Y=1\mid X=0)=P(Y=0\mid X=1)=p$$

其中 $X$ 为发送随机变量，$Y$ 为接收随机变量。信道被称为对称的是因为0错成1的概率与1错成0的概率相等。通常假设 $0\le p\le 0.5$，若 $p>0.5$，接收端只需对接收比特取反即可等效为 $p^{\prime }=1-p\le 0.5$ 的信道。

二进制对称信道的转移概率矩阵表示为：

$$\mathbf{P}=\left[\begin{array}{cc}1-p& p\\ p& 1-p\end{array}\right]$$

该信道的容量由二进制熵函数决定：

$$C=1-H(p)=1+p{\log }_{2}p+(1-p){\log }_2(1-p)$$

当 $p=0$ 时容量达到最大值1比特每信道使用；当 $p=0.5$ 时容量降为零，此时信道输出与输入统计独立，无法传输任何信息。

2.2 重复码的构造与性能分析

2.2.1 编码规则

重复码是最简单的差错控制编码，(3, 1)重复码将每个信息比特扩展为三个相同比特。编码映射关系为：

$$0\to (0,0,0),1\to (1,1,1)$$

该码的信息位长度 $k=1$，码字长度 $n=3$，冗余位 $r=n-k=2$。码率定义为信息位长度与码字长度之比：

$$R=\frac{k}{n}=\frac{1}{3}$$

码率衡量编码效率，表示每传输一个码字符号所携带的信息量。

2.2.2 译码决策与概率推导

假设发送端等概率发送 $(0,0,0)$ 或 $(1,1,1)$，接收端收到序列 $(0,1,1)$。需要判断原始发送序列是 $(1,1,1)$ 发生一位错误，还是 $(0,0,0)$ 发生两位错误。

设信道交叉概率为 $p$，各比特错误事件相互独立。定义两种假设：

• 假设 $H_1$：发送 $(1,1,1)$，第一比特发生错误，后两比特正确
• 假设 $H_0$：发送 $(0,0,0)$，第二、三比特发生错误

两种假设下的似然概率分别为：

$$P(\mathbf{y}\mid H_1)=p(1-p{)}^2$$

$$P(\mathbf{y}\mid H_0)=p^2(1-p)$$

最大似然译码选择使接收序列条件概率最大的假设。比较两式：

$$p(1-p{)}^2>p^2(1-p)⟺1-p>p⟺p<0.5$$

当信道满足 $p<0.5$ 时，$P(\mathbf{y}\mid H_1)>P(\mathbf{y}\mid H_0)$，译码器判决发送序列为 $(1,1,1)$。该结论与直观一致：在信道质量优于随机猜测时，错误位数少的假设更可信。

2.2.3 误码性能分析

(3, 1)重复码采用多数表决译码：若接收序列中0的个数大于1的个数，译码为0；否则译码为1。码字错误发生在两个或三个比特同时出错的情形。

码字错误概率（不可检测错误概率）为：

$$P_{cw}=\left(\genfrac{}{}{0ex}{}{3}{2}\right)p^2(1-p)+\left(\genfrac{}{}{0ex}{}{3}{3}\right)p^3=3p^2(1-p)+p^3$$

等价地，正确译码概率为无误或仅错一位的概率之和：

$$P_{correct}=(1-p{)}^3+(\genfrac{}{}{0ex}{}{3}{1})p(1-p{)}^2$$

$$P_{cw}=1-P_{correct}$$

对于 $p=10^{-2}$ 的信道：

$$P_{cw}=3\times (10^{-2}{)}^2\times (1-10^{-2})+(10^{-2}{)}^3\approx 3\times 10^{-4}$$

未编码时比特错误概率即为 $p=10^{-2}$。采用重复码后等效比特错误概率降至约 $3\times 10^{-4}$，性能改善约两个数量级。代价是传输带宽扩展为原来的3倍，或等效数据速率降为原来的三分之一。

2.3 最大似然译码与最小距离译码

对于二进制对称信道且输入等概率的情形，最大似然译码等价于最小汉明距离译码。接收序列 $\mathbf{y}$ 与候选码字 $\mathbf{c}$ 之间的汉明距离 $d_H(\mathbf{y},\mathbf{c})$ 表示两者不同分量的个数。

似然函数可表示为：

$$P(\mathbf{y}\mid \mathbf{c})=p^{d_H(\mathbf{y},\mathbf{c})}(1-p{)}^{n-d_H(\mathbf{y},\mathbf{c})}=(1-p{)}^n{\left(\frac{p}{1-p}\right)}^{d_H(\mathbf{y},\mathbf{c})}$$

由于 $p<0.5$，有 $\frac{p}{1-p}<1$，因此最大化 $P(\mathbf{y}\mid \mathbf{c})$ 等价于最小化 $d_H(\mathbf{y},\mathbf{c})$。这一结论建立了概率译码与几何距离之间的桥梁，使译码问题转化为在码字空间中寻找最近邻的问题。

---

3. 差错控制编码的核心参数

3.1 码字、码率与冗余度

一个 $(n,k)$ 分组码将 $k$ 位信息映射为 $n$ 位码字，其中 $n>k$。全体合法码字构成码空间 $\mathcal{C}$ 的子集，其大小为 $|\mathcal{C}|=2^k$。整个 $n$ 维二元向量空间包含 $2^n$ 个向量，其中仅 $2^k$ 个为合法码字，其余 $2^n-2^k$ 个为非法序列。

码率 $R=k/n$ 表征编码效率，取值范围为 $0<R\le 1$。冗余度定义为 $r=n-k$，或相对冗余度 $(n-k)/k$。高码率意味着低开销，但通常纠错能力较弱；低码率引入更多冗余，可提供更强的保护能力。

3.2 系统码与非系统码

系统码是指信息位以原样出现在码字中的编码方式。一个系统码的码字结构为：

$$\mathbf{c}=(m_1,m_2,\dots ,m_k,p_1,p_2,\dots ,p_{n-k})$$

其中 $(m_1,\dots ,m_k)$ 为信息位，$(p_1,\dots ,p_{n-k})$ 为校验位。系统码的优势在于信息提取无需译码运算，直接从码字前 $k$ 位即可恢复原始数据。

非系统码的码字中不直接包含原始信息位，信息位与校验位以线性或非线性方式混合。任何线性分组码均可通过列置换转化为等价的系统码形式，两者具有相同的纠错性能。

3.3 线性码的代数结构

线性码是分组码的重要子类，其码空间 $\mathcal{C}$ 构成 $n$ 维向量空间 over ${\mathbb{F}}_2$ 的 $k$ 维子空间。线性码满足封闭性：任意两个码字的模2和仍为码字。

线性码由生成矩阵 $\mathbf{G}$ 完全描述，$\mathbf{G}$ 为 $k\times n$ 矩阵，其行向量构成码空间的一组基。信息向量 $\mathbf{u}=(u_1,\dots ,u_k)$ 的编码运算为：

$$\mathbf{c}=\mathbf{uG}$$

对于系统码，生成矩阵可写为 $\mathbf{G}=[{\mathbf{I}}_k\mid \mathbf{P}]$，其中 ${\mathbf{I}}_k$ 为 $k\times k$ 单位矩阵，$\mathbf{P}$ 为 $k\times (n-k)$ 校验位生成矩阵。

对偶地，线性码也可由校验矩阵 $\mathbf{H}$ 定义，$\mathbf{H}$ 为 $(n-k)\times n$ 矩阵，满足：

$$\mathbf{c}{\mathbf{H}}^T=0,\forall \mathbf{c}\in \mathcal{C}$$

对于系统码，校验矩阵具有形式 $\mathbf{H}=[{\mathbf{P}}^T\mid {\mathbf{I}}_{n-k}]$。生成矩阵与校验矩阵满足正交关系 $\mathbf{G}{\mathbf{H}}^T=0$。

---

4. 汉明距离与编码的纠错检错能力

4.1 汉明距离的定义与计算

汉明距离是编码理论中的核心度量。对于两个等长二元向量 $\mathbf{x}=(x_1,\dots ,x_n)$ 与 $\mathbf{y}=(y_1,\dots ,y_n)$，其汉明距离定义为对应位不同的位置数：

$$d_H(\mathbf{x},\mathbf{y})=\sum _{i=1}^n{x}_i\oplus y_i$$

其中 $\oplus$ 表示模2加法（异或运算）。汉明距离也可通过向量差的汉明重量计算：

$$d_H(\mathbf{x},\mathbf{y})=w_H(\mathbf{x}\oplus \mathbf{y})$$

汉明距离满足度量空间的全部公理：非负性、对称性、同一性与三角不等式。全体 $n$ 位二元向量在汉明距离下构成一个度量空间，可几何可视化为 $n$ 维超立方体的顶点集，相邻顶点间的边对应汉明距离为1。

4.2 最小汉明距离

一个码 $\mathcal{C}$ 的最小汉明距离 $d_{\min }$ 定义为所有不同码字对之间汉明距离的最小值：

$$d_{\min }=\underset{{\mathbf{c}}_i,{\mathbf{c}}_j\in \mathcal{C},{\mathbf{c}}_i\ne {\mathbf{c}}_j}{\min }{d}_H({\mathbf{c}}_i,{\mathbf{c}}_j)$$

最小距离是码的纠错与检错能力的决定因素。对于线性码，由于包含全零码字，最小距离等于非零码字的最小汉明重量：

$$d_{\min }=\underset{\mathbf{c}\in \mathcal{C},\mathbf{c}\ne 0}{\min }{w}_H(\mathbf{c})$$

以 (7, 4) 汉明码为例，该码包含16个码字。通过计算所有码字对的距离或检验非零码字的重量，可确定其最小距离 $d_{\min }=3$。

4.3 纠错能力与检错能力的定量关系

4.3.1 检错能力

若码的最小距离为 $d_{\min }$，则该码可检测所有重量不超过 $d_{\min }-1$ 的错误模式。证明如下：设发送码字 $\mathbf{c}$，错误模式 $\mathbf{e}$ 满足 $w_H(\mathbf{e})\le d_{\min }-1$，则接收向量 $\mathbf{r}=\mathbf{c}\oplus \mathbf{e}$ 满足：

$$d_H(\mathbf{r},\mathbf{c})=w_H(\mathbf{e})\le d_{\min }-1$$

对于任意其他码字 ${\mathbf{c}}^{\prime }\ne \mathbf{c}$，由三角不等式：

$$d_H(\mathbf{r},{\mathbf{c}}^{\prime })\ge d_H(\mathbf{c},{\mathbf{c}}^{\prime })-d_H(\mathbf{r},\mathbf{c})\ge d_{\min }-(d_{\min }-1)=1$$

更精确地，$\mathbf{r}$ 不可能等于任何合法码字，因为若 $\mathbf{r}={\mathbf{c}}^{\prime }$，则 $d_H(\mathbf{c},{\mathbf{c}}^{\prime })=w_H(\mathbf{e})\le d_{\min }-1$，与最小距离定义矛盾。因此接收端可判定传输存在错误。

检错能力参数记为 $t_d$，满足：

$$t_d=d_{\min }-1$$

4.3.2 纠错能力

码可纠正所有重量不超过 $t_c$ 的错误模式，其中：

$$t_c=\lfloor \frac{d_{\min }-1}{2}\rfloor$$

该公式的几何直观是：以各码字为中心、半径为 $t_c$ 的汉明球互不相交。若错误模式使接收向量落入某码字的汉明球内，则该码字是唯一的最近邻，最小距离译码可正确恢复。

严格证明：设发送 $\mathbf{c}$，错误模式 $\mathbf{e}$ 满足 $w_H(\mathbf{e})\le t_c$。对任意 ${\mathbf{c}}^{\prime }\ne \mathbf{c}$：

$$d_H(\mathbf{r},{\mathbf{c}}^{\prime })\ge d_H(\mathbf{c},{\mathbf{c}}^{\prime })-d_H(\mathbf{r},\mathbf{c})\ge d_{\min }-t_c$$

而 $d_H(\mathbf{r},\mathbf{c})=w_H(\mathbf{e})\le t_c$。由于 $t_c\le (d_{\min }-1)/2$，有：

$$d_{\min }-t_c\ge t_c+1>t_c\ge d_H(\mathbf{r},\mathbf{c})$$

因此 $\mathbf{c}$ 是距离 $\mathbf{r}$ 最近的唯一码字。

4.3.3 联合纠错检错模式

实际系统中常需同时实现纠错与检错。设码需纠正 $t_c$ 位错误并同时检测 $t_d$ 位错误（$t_d\ge t_c$），则最小距离需满足：

$$d_{\min }\ge t_c+t_d+1$$

该条件的必要性可通过反证说明：若 $d_{\min }\le t_c+t_d$，则存在两个码字 ${\mathbf{c}}_1,{\mathbf{c}}_2$ 其距离 $d_H({\mathbf{c}}_1,{\mathbf{c}}_2)\le t_c+t_d$。构造错误模式使 ${\mathbf{c}}_1$ 经 $t_c$ 位错误后落入 ${\mathbf{c}}_2$ 的 $t_d$ 检错范围内，此时接收端无法区分是 ${\mathbf{c}}_1$ 发生 $t_c$ 位错误还是 ${\mathbf{c}}_2$ 发生 $t_d$ 位错误，联合模式失效。

当 $d_{\min }=5$ 时，存在三种工作模式：

• 纯检错模式：可检测4位错误（$t_d=4$）
• 纯纠错模式：可纠正2位错误（$t_c=2$）
• 联合模式：纠正1位错误并检测2位额外错误（$t_c=1,t_d=2$）

4.4 距离与译码球

---

5. 编码增益与代价分析

5.1 误码率性能改善

编码增益定义为在相同误码率指标下，编码系统相对于未编码系统所需的信噪比降低量。对于二进制对称信道，编码增益体现为等效交叉概率的下降。

以 (3, 1) 重复码为例，未编码比特错误概率 $P_b=p$。编码后等效比特错误概率近似为：

$$P_b^{(coded)}\approx 3p^2$$

当 $p=10^{-2}$ 时，$P_b^{(coded)}\approx 3\times 10^{-4}$，性能改善约两个数量级。更一般地，若码可纠正 $t_c$ 位错误，码字错误概率上界为：

$$P_{cw}\le \sum _{i=t_c+1}^n\left(\genfrac{}{}{0ex}{}{n}{i}\right)p^i(1-p{)}^{n-i}$$

在 $p$ 较小时，主导项为 $i=t_c+1$：

$$P_{cw}\approx \left(\genfrac{}{}{0ex}{}{n}{t_c+1}\right)p^{t_c+1}$$

5.2 带宽与速率代价

编码引入的带宽扩展因子为 $1/R=n/k$。对于 (3, 1) 重复码，带宽扩展为3倍，或等效地，在固定带宽下数据速率降为 $1/3$。编码设计需在可靠性提升与资源开销之间取得平衡。

现代通信系统采用高阶调制与高效编码（如LDPC码、Turbo码）的组合，在接近香农极限的码率下实现可靠传输，大幅降低传统编码的带宽代价。

---

6. 编码理论与界限

6.1 汉明界（球包装界）

汉明界基于译码球不重叠的几何约束，给出码字数目的上界。在 $n$ 维二元空间中，以码字为中心、半径为 $t_c$ 的汉明球包含所有可纠正的接收向量。为保证唯一可译性，这些球必须互不相交。

半径为 $t$ 的汉明球体积（包含的向量数）为：

$$V(n,t)=\sum _{i=0}^t\left(\genfrac{}{}{0ex}{}{n}{i}\right)$$

对于可纠正 $t_c$ 位错误的码，$M=2^k$ 个汉明球总体积不超过全空间体积：

$$M\cdot V(n,t_c)\le 2^n$$

代入 $M=2^k$，得到汉明界：

$$2^k\le \frac{2^n}{{\sum }_{i=0}^{t_c}\left(\genfrac{}{}{0ex}{}{n}{i}\right)}$$

或等价地：

$$\sum _{i=0}^{t_c}\left(\genfrac{}{}{0ex}{}{n}{i}\right)\le 2^{n-k}$$

满足汉明界取等号的码称为完美码。已知的二进制完美码包括重复码、汉明码及二元 Golay 码。

6.2 Gilbert-Varshamov界

Gilbert-Varshamov界从存在性角度证明：给定 $n$ 与 $d$，只要码率不超过某一阈值，必然存在最小距离至少为 $d$ 的码。该界提供了码参数的可行区域。

构造性证明采用贪婪算法：在 ${\mathbb{F}}_2^n$ 中逐次选取码字，每选取一个向量后删除其周围半径为 $d-1$ 的汉明球内所有向量。当过程终止时，剩余向量为空，所选码字构成一个最小距离至少为 $d$ 的码。

由于每个删除的球体积为 $V(n,d-1)$，所选码字数 $M$ 满足：

$$M\cdot V(n,d-1)\ge 2^n$$

因此存在 $(n,k)$ 码满足：

$$2^k\ge \frac{2^n}{{\sum }_{i=0}^{d-1}\left(\genfrac{}{}{0ex}{}{n}{i}\right)}$$

该界表明，对于相对距离 $\delta =d/n$，存在码率 $R$ 满足：

$$R\ge 1-H_2(\delta )$$

其中 $H_2(\delta )=-\delta {\log }_2\delta -(1-\delta ){\log }_2(1-\delta )$ 为二元熵函数。Gilbert-Varshamov界是编码理论中构造性存在证明的基石，近年来通过概率方法得到了多项式级别的改进。

6.3 编码设计的基本权衡

编码设计的核心挑战在于同时优化三个相互制约的指标：码率、最小距离与编译码复杂度。随机码以高概率接近香农极限，但缺乏结构导致译码不可行。代数构造码（如BCH码、RS码）具有清晰结构，但在长码长下距离特性次优。现代迭代可译码（LDPC码、Turbo码）通过稀疏图结构实现了复杂度与性能的良好平衡。

---

7. 编码与译码的工程实现

7.1 编码问题的数学表述

编码问题的本质是：给定信息位长度 $k$ 与目标最小距离 $d_{\min }$，如何选择 $2^k$ 个 $n$ 维向量构成码空间 $\mathcal{C}$，使得 $\mathcal{C}$ 的最小距离不小于 $d_{\min }$，且 $n$ 尽可能小。

穷举搜索法需从 $2^n$ 个向量中选取 $2^k$ 个并验证所有码字对的距离，其计算复杂度为指数级 $O(2^{n+k})$，仅适用于极短码。实际编码理论致力于构造性方法，通过代数、几何或图论工具直接生成具有预定参数的码。

线性码的构造归结为寻找生成矩阵 $\mathbf{G}$ 或校验矩阵 $\mathbf{H}$，使得对应码空间具有所需的最小距离。系统形式的编码器可直接由 $\mathbf{G}=[{\mathbf{I}}_k\mid \mathbf{P}]$ 实现，信息位经线性变换生成校验位。

7.2 译码问题与标准阵列

译码问题可表述为：给定接收向量 $\mathbf{r}$，寻找合法码字 $\hat{\mathbf{c}}\in \mathcal{C}$ 使其与 $\mathbf{r}$ 的汉明距离最小。

标准阵列译码是一种概念清晰的译码方法。将 $2^n$ 个 $n$ 维向量排列为阵列：第一行为码空间 $\mathcal{C}$（以全零码字开头），后续每行选取一个陪集首（该陪集中重量最小的向量）并将其与所有码字相加。同一列中的向量具有相同的伴随式 $\mathbf{s}=\mathbf{r}{\mathbf{H}}^T$。

接收向量 $\mathbf{r}$ 的译码过程为：计算伴随式 $\mathbf{s}$，确定所在陪集，从该列顶部读取码字作为译码输出。标准阵列的存储需求为 $n\times 2^{n-k}$ 比特，对于长码不可行，但为理解译码原理提供了完整框架。

7.3 现代编码方法概述

当代差错控制编码已从经典代数编码发展为以图模型为基础的迭代译码体系。

低密度奇偶校验码由稀疏校验矩阵定义，其Tanner图表示中变量节点与校验节点通过稀疏边连接。置信传播译码算法在图上传递概率信息，对于足够长的码可逼近最大似然译码性能。LDPC码已被采纳为5G移动通信、卫星通信及存储系统的标准编码方案。

Turbo码采用并行级联卷积码结构，通过交织器将两个简单编码器组合，配合迭代译码实现近香农极限性能。其成功揭示了随机化与迭代处理在编码设计中的核心作用。

极化码基于信道极化现象，通过递归变换将一组相同信道转化为完全可靠或完全不可靠的极化信道，在可靠子信道上直接传输信息。极化码是首个被严格证明可达香农极限的编码构造，并已被采纳为5G控制信道的编码标准。

---

8. 知识图谱与体系总结

8.1 核心概念关联图谱

8.2 学习路径思维导图

8.3 关键公式汇总

概念	表达式
码率	$R=k/n$
汉明距离	$d_H(\mathbf{x},\mathbf{y})={\sum }_{i=1}^n{x}_i\oplus y_i$
最小距离	$d_{\min }={\min }_{{\mathbf{c}}_i\ne {\mathbf{c}}_j}{d}_H({\mathbf{c}}_i,{\mathbf{c}}_j)$
纠错能力	$t_c=\lfloor (d_{\min }-1)/2\rfloor$
检错能力	$t_d=d_{\min }-1$
联合模式	$d_{\min }\ge t_c+t_d+1$
汉明界	$2^k{\sum }_{i=0}^{t_c}\left(\genfrac{}{}{0ex}{}{n}{i}\right)\le 2^n$
GV界	$2^k\ge 2^n/{\sum }_{i=0}^{d-1}\left(\genfrac{}{}{0ex}{}{n}{i}\right)$
BSC容量	$C=1-H_2(p)$

---

9. 附录：典型习题解析

9.1 问题描述

一个5位码字在交叉概率 $p=0.1$ 的二进制对称信道上传输，求超过3位发生错误的概率。

9.2 推导过程

设错误比特数为随机变量 $X$，则 $X\sim \text{Binomial}(n=5,p=0.1)$。所求概率为：

$$P(X>3)=P(X=4)+P(X=5)$$

$$P(X=4)=\left(\genfrac{}{}{0ex}{}{5}{4}\right)(0.1{)}^4(0.9{)}^1=5\times 10^{-4}\times 0.9=4.5\times 10^{-4}$$

$$P(X=5)=\left(\genfrac{}{}{0ex}{}{5}{5}\right)(0.1{)}^5=10^{-5}$$

$$P(X>3)=4.5\times 10^{-4}+10^{-5}=4.6\times 10^{-4}$$

该结果说明，即使在单比特错误概率高达10%的较差信道中，4位及5位错误同时发生的概率仍低于万分之五，验证了独立错误模型下高重量错误模式的稀有性。

---

本手册系统阐述了差错控制编码的基础理论、核心参数、距离分析、性能界限及工程实现方法，可作为数字通信与信息编码领域的入门教程与技术参考。