9、动态熵、信息编码与源压缩：原理与应用

动态熵、信息编码与源压缩：原理与应用

1. 编码基础概念

在信息处理与传输领域，编码是至关重要的环节。以下是一些关键的编码定义：
- 代码定义 ：对于一个源字母表为 (I_A = {1, 2, \ldots, a}) 的源 (A)，代码 (E: I_A \to \Omega_d^ ) 是一种将源符号 (i \in I_A) 映射为任意长度字符串的映射，这些字符串由符号 (x \in I_X = {1, 2, \ldots, d}) 组成，即 (I_A \ni i \to E(i) = x^{(n)} = x_1x_2 \cdots x_n \in \Omega_d^ )，其中 (x_j \in {1, 2, \ldots, d})，(\Omega_d^ ) 表示所有长度大于等于 1 的字符串集合。
- 非奇异代码 ：若任意两个不同的源符号 (i, j \in I_A) 被映射为不同的代码字 (E(i) \neq E(j) \in \Omega_d^ )，则该代码为非奇异代码，意味着每个代码字对应唯一的源符号。
- 代码扩展 ：代码 (E: I_A \to \Omega_d^ ) 对长度为 (\ell) 的字符串 (i^{(\ell)} = i_1i_2 \cdots i_{\ell} \in \Omega_a^{(\ell)}) 的扩展定义为串联形式，即 (\Omega_a^{(\ell)} \ni i^{(\ell)} \to E^{(\ell)}(i^{(\ell)}) = E(i_1)E(i_2) \cdots