2、理解概率模型：离散时间马尔可夫链与奖励模型

理解概率模型：离散时间马尔可夫链与奖励模型

1. 离散时间马尔可夫链 (DTMC)

离散时间马尔可夫链（Discrete Time Markov Chain, DTMC）是一种广泛应用的概率模型，用于描述系统在不同时间点的状态转移。DTMC的核心思想是，系统未来的状态仅依赖于当前状态，而与过去的历史无关。这种特性称为“无记忆性”。

1.1 DTMC的定义

给定一组有限的原子命题 ( AP )，一个离散时间马尔可夫链 ( D ) 可以形式化为一个四元组 ( D = (S, s_0, P, L) )，其中：

• ( S ) 是有限的状态集；
• ( s_0 \in S ) 是初始状态；
• ( P: S \times S \to [0, 1] ) 是转移函数，表示从一个状态转移到另一个状态的概率，并且对于每个 ( s \in S )，所有可能的下一个状态 ( s’ ) 的转移概率之和等于1，即 ( \sum_{s’ \in S} P(s, s’) = 1 )；
• ( L: S \to 2^{AP} ) 是标注函数，用于指定每个状态下哪些原子命题成立。

1.2 DTMC的图表示

一个DTMC的底层图是一个有向图 ( \langle V, E \rangle )，其中：