见见大魔王

本文将动态参数马尔可夫决策过程定义为概率层次模型（probabilistic hierarchical model），其中非平稳性变化发生在相邻任务的层面上，而在每个任务中是一个平稳的马尔可夫决策过程。为此，本文构建了一个双层模型第一层：潜在变量zizi的序列作为马尔可夫链；第二层：每个潜在变量zizi对应的马尔可夫决策过程。在这种形式下，从每个事件（episode）中收集到的轨迹都是单独建模的。令uiui表示在轨迹iii中的动作序列a1:Tia1:Ti​。