线性码解码与错误概率关系证明-优快云博客

对于q元删除信道，当 $ q > 2 $ 时，可以构造这样的 $(N, K)$ 码。存在大量的最大距离可分（MDS）码，只要域大小 $ q $ 大于块长 $ N $，就可以找到任何速率的 MDS 块码，其中 里德-所罗门码 是最著名且应用最广泛的。

最优块解码器返回使后验概率 $ P(x | r) $（与似然 $ P(r | x) $ 成正比）最大的码字 $ x $，其错误概率为 $ p_B $。
最优位解码器对于 $ N $ 个比特中的每一个 $ x_n $，返回使后验概率 $ P(x_n = a | r) $ 最大的 $ a $ 值，其错误概率为 $ p_b $。
块猜测解码器以由后验概率 $ P(x | r) $ 给出的概率分布返回一个随机码字 $ x $，其错误概率为 $ p_{G_B} $。
位猜测解码器对于 $ N $ 个比特中的每一个 $ x_n $，从概率分布 $ P(x_n = a | r) $ 中返回一个随机比特，其错误概率为 $ p_{G_b} $。

如果一个块是正确的，那么它的所有组成位都是正确的。所以如果最优块解码器的性能优于最优位解码器，我们可以从块解码器构造一个更好的位解码器。因此，$ p_B \geq p_b $ 是显然成立的。

证明不等式的右边（$ p_b \geq \frac{1}{2} \cdot \left( \frac{d_{\text{min}}}{N} \right) \cdot p_B $）：

（a）证明位猜测解码器几乎和最优位解码器一样好：
- 考虑单个比特，其后验概率为 $ {p_0, p_1} $。最优位解码器的错误概率 $ P_{\text{optimal}} = \min(p_0, p_1) $。
- 猜测解码器从 $ 0 $ 和 $ 1 $ 中选择，猜测者和真实值匹配的概率是 $ p_0^2 + p_1^2 $，不匹配的概率（猜测错误概率）$ P_{\text{guess}} = 2p_0p_1 \leq 2\min(p_0, p_1) = 2P_{\text{optimal}} $。
- 由于 $ p_{G_b} $ 是许多这样的错误概率 $ P_{\text{guess}} $ 的平均值，$ p_b $ 是相应最优错误概率 $ P_{\text{optimal}} $ 的平均值，所以 $ p_{G_b} \leq 2p_b $。
（b）证明位猜测解码器的错误概率与块猜测解码器的错误概率相关：
- 已知 $ p_{G_b} \geq \left( \frac{d_{\text{min}}}{N} \right) \cdot p_{G_B} $。
- 又因为 $ p_{G_B} \geq p_B $。
- 综合可得：
  $$
  p_b \geq \frac{1}{2} \cdot p_{G_b} \geq \frac{1}{2} \cdot \left( \frac{d_{\text{min}}}{N} \right) \cdot p_{G_B} \geq \frac{1}{2} \cdot \left( \frac{d_{\text{min}}}{N} \right) \cdot p_B
  $$