8、动力熵与信息：理论、应用与系统特性

动力熵与信息：理论、应用与系统特性

1 动力熵基础

1.1 随机过程与熵率的引入

在对信息源的重复使用或者对相空间轨迹的连续定位过程中，会产生随机过程。由于平衡态 μ 会产生平移不变的概率分布，香农熵成为了运动的常量，即对于时间演化后的划分 (T^{-j}(P))，有 (H_{\mu}(T^{-j}(P)) = H_{\mu}(P))。因此，用于量化动力学不规则程度的并非香农熵，而是熵率。

1.2 熵率的定义与性质

对于一个对应于测度 - 理论三元组 ((X, T, \mu)) 的动力系统，通过有限可测划分 (P = {P_i} {i = 1}^{p}) 对 (X) 进行粗粒化。定义熵率如下：
- 定义 ：((X, T, \mu)) 相对于有限可测划分 (P) 的熵率为 (h {KS}^{\mu}(T, P) := \lim_{n \to \infty} \frac{1}{n}H_{\mu}(P^{(n)}) = \inf_{n} \frac{1}{n}H_{\mu}(P^{(n)}))。
- 存在性证明 ：由于 μ 的平稳性 (H_{\mu}(P_k) = H_{\mu}(P) \quad \forall k \geq 0) 以及香农熵的次可加性，该极限存在。
- 表达式推导 ：熵率还可以通过两个划分的条件熵 (H_{\mu}(P|Q)) 来表示，如 (h_{KS}^{\mu}(T, P) = \lim_{n \to \infty} \frac{1}{n} \sum_{i = 1}^{n