10、动态熵、信息编码与算法复杂度：从理论到应用

动态熵、信息编码与算法复杂度：从理论到应用

1. 动态熵与信息基础

在信息传输过程中，信号失真问题较为常见。无噪声信道是一种理想情况，在实际中，信号在传输时通常会发生失真。这就可能导致不同的输入字符串经过信道后输出相同的字符串，从而无法准确解码。为了应对这种失真，我们可以采用合适的编码和解码程序来处理越来越长的字符串。与压缩过程中消除冗余不同，在有噪声的情况下，我们需要引入冗余来降低不同输入字符串产生相同输出的可能性。

例如，在一个二进制对称信道 C 中，0 和 1 可以以概率 0 < p < 1/2 相互转换。为了降低错误解码的概率，我们可以进行如下编码：
- (E(0) = \underbrace{00 \cdots 0} {2n + 1 次})
- (E(1) = \underbrace{11 \cdots 1} {2n + 1 次})

经过 2n + 1 次使用信道后，输出的字符串 (i^{(2n + 1)} := C^{(2n + 1)} \circ E(i)) 可以通过多数规则进行解码。设 (N_{i^{(2n + 1)}}(0)) 表示 (i^{(2n + 1)}) 中 0 的数量，则解码规则为：
[
D(i^{(2n + 1)}) =
\begin{cases}
0, & \text{如果 } N_{i^{(2n + 1)}}(0) > n \
1, & \text{如果 } N_{i^{(2n + 1)}}(0) \leq n
\end{cases}
]

通过这种编码 - 解码程序，我们以 2n +