12、离散时间马尔可夫链的数值计算与分析

离散时间马尔可夫链的数值计算与分析

1. 离散时间马尔可夫链基础求解与折叠算法

离散时间马尔可夫链（DTMC）的求解有特定的公式：
- (x_0 = x_0E_0)
- (x_{N - k} = x_{N - k - 1}U_{N - k - 1}(I - E_{N - k})^{-1}, 1 \leq k \leq N)
- (\sum_{k = 0}^{N} x_k1 = 1)

折叠算法是一种特殊的分组方法，它将DTMC分为奇数和偶数两类，不同于其他将其分为一类和其他类的方法。例如，当 (N) 为偶数时，将DTMC重新排列为 ({0, 2, 4, 6, \cdots, N, 1, 3, 5, \cdots, N - 1})，然后相应地对转移矩阵进行分区，使其具有良好的结构。

2. 无限状态马尔可夫链概述

考虑一个DTMC ({X_n, n = 0, 1, 2, \cdots})，其中 (X_n = 0, 1, 2, \cdots)，由于 (X_n) 可以取无限个值，所以称其为无限DTMC。而有限情况是 (X_n \in {0, 1, 2, \cdots, N < \infty})。

如果无限DTMC是正递归的，那么它有一个平稳分布 (x)，满足 (x = xP) 且 (x1 = 1)。然而，由于状态空间是无限的，之前用于有限DTMC的计算方法不再适用，计算这个平稳分布成为一个挑战。

一种方法是将无限DTMC在适当的状态 (N < \infty) 处截断为有限DTMC，然后应用之前的技术。截断方法可以选择最小的 (N)，使得 (1 - \sum_{j = 0}^{N} p_