7、强化学习中的马尔可夫决策过程与价值函数

强化学习中的马尔可夫决策过程与价值函数

马尔可夫性质与马尔可夫决策过程

在强化学习中，马尔可夫性质是一个重要的概念。以上下文多臂老虎机问题为例，神经网络仅依据当前状态就能选择最佳动作，而无需参考其他先前状态。这种仅根据当前状态就足以选择最优动作以最大化未来奖励的特性，被称为马尔可夫性质。具有马尔可夫性质的游戏或控制任务，被称为马尔可夫决策过程（MDP）。

MDP模型极大地简化了强化学习问题，因为我们无需考虑所有先前的状态或动作，只需分析当前情况。例如，21点纸牌游戏就是一个MDP，因为我们只需知道当前的手牌和庄家明牌，就能成功玩游戏。

为了检验对马尔可夫性质的理解，我们来看以下几个控制问题或决策任务，判断它们是否具有马尔可夫性质：
1. 驾驶汽车
2. 决定是否投资股票
3. 为患者选择医疗治疗方案
4. 诊断患者的疾病
5. 预测足球比赛哪支球队会获胜
6. 选择到某个目的地的最短路线（按距离）
7. 瞄准远处目标开枪

下面是对这些问题的分析：
| 问题 | 是否具有马尔可夫性质 | 原因 |
| — | — | — |
| 驾驶汽车 | 是 | 通常无需知道10分钟前发生了什么，只需知道当前周围环境和目的地即可最优驾驶。 |
| 决定是否投资股票 | 否 | 需要了解股票的过去表现才能做出决策。 |
| 为患者选择医疗治疗方案 | 是 | 无需了解患者的全部生平，只需针对当前病症选择合适治疗方案。 |
| 诊断患者的疾病 | 否 | 通常需要了解患者症状的历史过程才能做出准确诊断。 |
| 预测足球比赛哪支球队会获胜