18、马尔可夫过程的熵最大化

马尔可夫过程的熵最大化

1. 过程与规范的熵

离散概率分布的熵用于量化事件相关信息的缺失程度。这一概念可拓展用于量化马尔可夫链（MC）的不确定性，即其不可预测程度。对于包含 (n) 个事件 ((x_1, …, x_n)) 的离散集合，熵定义为 (-\sum_{i = 1}^{n} P(x_i) \log_2(P(x_i)))，且在均匀分布时达到最大值，此时熵值为 (\log_2 n)。对于马尔可夫链，当链中所有可能路径的概率相同时，熵达到最大。

为定义马尔可夫链 (C) 的熵，需引入条件熵和联合熵的概念。
- 条件熵 ：用于量化在已知其他随机变量（这里为 (X_i)）取值的情况下，变量 (Y) 剩余的熵。其计算公式为：
[H(Y | X_1, …, X_n) = -\sum_{t \in S} \sum_{s_1 \in S} \cdots \sum_{s_n \in S} P(Y = t, X_1 = s_1, …, X_n = s_n) \cdot \log_2 P(Y = t | X_1 = s_1, …, X_n = s_n)]
其中 (P(Y = t, X_1 = s_1, …, X_n = s_n)) 表示事件 (Y = t, X_1 = s_1, …, X_n = s_n) 的联合概率。
- 联合熵 ：是多个随机变量联合计算的熵，即由于对 (n) 个随机变量的无知而产生的综合不确定性。联合熵可通过条件熵计算：
[H(X_0, X_1, …, X_n) = -\sum_{s_0 \in S} \sum_{s_1 \in S} \cdots \sum_{s_n \i