7、MDPN与马尔可夫决策良构网形式化方法解析

MDPN与马尔可夫决策良构网形式化方法解析

1. 马尔可夫决策过程（MDP）中的转移概率

在马尔可夫决策过程里，转移概率的获取至关重要。这些概率是通过对在状态 pr 中启用的转移权重进行归一化得到的。依据马尔可夫链理论，矩阵 P = (Id - P(pr, pr))⁻¹ ∘ P(pr, nd) 代表了所寻找的概率，其中 Id 为单位矩阵。在具有即时转移的随机Petri网框架中，也会进行类似的转换。

在MDP里，与状态 nd 和（复杂）动作 σ 相关联的概率分布 p(·|nd, σ) （假设 nd σ → pr ）由行向量 P[pr, ·] 给出。每对状态和动作的奖励函数则由公式 r(nd, σ) = rg(rs(nd), rt(σ)) 定义。由于 rg 关于其第二个参数是非递减的，所以应用贝尔曼 - 福特算法找到的关于 rt 的最优路径，同样也是关于 rg(rs(nd), rt(·)) 的最优路径。

不过，MDPN（马尔可夫决策Petri网）作为一种用于指定MDP的高级形式化方法，存在一定缺陷。在状态表示中，即使组件具有相似行为，它们也会被识别并始终区分开来。这会对模型描述的可读性（当存在多个组件时，模型描述可能变得难以阅读）以及状态空间大小产生影响。为解决这些问题，引入了更高级的形式化方法。

2. 马尔