11、香农定理、消息空间与信息论：编码通信的深度剖析

香农定理、消息空间与信息论：编码通信的深度剖析

1. 香农定理概述

在编码通信领域，我们常常会思考纠错的极限。我们能否设计出一种编码，纠正两个、三个甚至更多的错误，直至错误率低到无需再进一步优化呢？我们设定可接受的失败概率为 (10^{-30}) ，当然，你也可以选择其他非零数值。

假设我们要发送长度为 (M_c) 的编码消息，其中包含原始数据和编码位，数据消息长度为 (M) ，单个比特出错的概率为 (q) 。我们期望设计一种编码方案，纠正单个、双个、三个及更多错误，使得 (M_c) 中出现更多错误的概率小于 (10^{-30}) 。那么，我们需要多少编码位呢？ (M_c) 中有多少是消息内容，又有多少是其他部分呢？

香农证明了以下不等式对于 (M) 和 (\frac{M}{M_c}) 成立：
[ \frac{M}{M_c} \leq J(q) = 1 - (q\log_2[\frac{1}{q}] + [1 - q]\log_2[\frac{1}{1 - q}]) ]

香农指出，如果对批次长度 (M_c) 没有限制，残余错误率可以任意接近零。也就是说，我们能够构建一种编码来纠正任意数量的错误，达到我们所选择的任何精度。理论上唯一的限制就是上述不等式。不过在实际应用中，可能需要很大的批次大小和大量的创造力。

为了说明香农对编码效率所设定的上限，我们可以构建一个包含不同 (q) 值的表格：
| (q) | (\frac{M}{M_c}) | (\frac{M_c}{M}) |
| — | — | — |
| (\frac{1}{2}) | 0 | (\infty) |
| (\frac{1}{