33、非平稳序列决策的隐藏模式马尔可夫决策过程

非平稳序列决策的隐藏模式马尔可夫决策过程

在解决问题时，问题的有效建模通常是关键的第一步。在序列决策问题中，马尔可夫决策过程（MDP）应用广泛，不过它有三个必要条件，限制了其在一些场景下的使用。本文聚焦于第一和第三个条件，提出了一种针对非平稳环境的正式模型，并开发了学习模型参数和计算最优策略的算法。

1. 四类问题概述

• 马尔可夫决策过程（MDP） ：MDP 描述了智能体与环境的交互，环境包含状态空间、动作空间、概率状态转移函数和概率奖励函数。智能体的目标是找到一个从状态到动作的映射（策略），使长期累积奖励最大化，这个策略就是最优策略。过去已经有多种解决马尔可夫决策问题的方法，如值迭代和策略迭代。
• 强化学习（RL） ：最初，强化学习基于标量反馈来学习执行序列决策任务，不了解正确的动作。后来，研究人员发现 RL 问题可以自然地转化为不完全已知的 MDP，从而可以应用现有的 MDP 算法。RL 分为基于模型和无模型两种方法，无模型方法直接从经验中学习最优策略，由于可用信息较少，RL 问题通常比 MDP 问题更难。
• 部分可观测马尔可夫决策过程（POMDP） ：在现实世界中，完全可观测状态的假设有时不切实际。POMDP 在原始 MDP 的基础上引入了观测空间和观测概率函数，智能体只能感知观测值，而不是状态本身。传统的 POMDP 方法维护一个状态的概率分布（信念状态），将问题转化为具有增强（连续）状态空间的 MDP，但精确求解 POMDP 问题通常是难以处理的。
• 隐藏状态强化学习