45、概率程序预期运行时间推理

概率程序预期运行时间推理

1. 预期运行时间的操作模型

为了证明预期运行时间转换器的合理性，我们引入一个简单的操作模型，该模型基于马尔可夫决策过程（MDP），其收集的奖励对应于运行时间。

1.1 马尔可夫决策过程（MDP）

MDP 是一个元组 (M = (S, Act, P, s_0, rew))，其中：
- (S) 是可数状态集。
- (Act) 是（有限）动作集。
- (P: S×Act ×S →[0, 1]) 是转移概率函数，对于所有状态 (s \in S) 和动作 (\alpha \in Act)，有 (\sum_{s’ \in S} P(s, \alpha, s’) \in {0, 1})。
- (s_0 \in S) 是初始状态。
- (rew : S →R_{\geq 0}) 是奖励函数。通常我们用 (s \xrightarrow{\alpha} s’ \vdash p) 表示 (P(s, \alpha, s’) = p)。若对于每对状态 (s, s’ \in S) 存在唯一的 (\alpha \in Act) 使得 (P(s, \alpha, s’) \neq 0)，则 MDP (M) 是马尔可夫链。

1.2 调度器

调度器 (S: S^+ →Act)（(S^+) 是非空有限状态序列集）用于解决 MDP 的非确定性，它为每个已访问的状态序列选择一个动作，从而诱导出一个马尔可夫链 (M_S)。

1.3 预期奖励的定义

• 对于有限路径 (\hat{\pi} = s_0 … s_n)，累积奖励 (rew(\hat{\p