44、强化学习范式与动态规划详解

强化学习范式与动态规划详解

1. 无模型方法与决策理论学习

无模型方法是一种没有完美模型的学习方法。在没有马尔可夫决策过程的完美模型时，智能体可在与环境交互的试错过程中学习客观存在的状态和奖励样本，进而利用这些样本优化策略和价值函数。

无模型方法存在持续的探索与利用过程。它依据当前状态和环境奖励确定下一步行动，通过多次迭代学习，实现回报最大化。然而，这里存在探索 - 利用困境，即无模型方法为了最大化回报，倾向于利用已证明有效的行动，但为了探索更有效的行动，又必须尝试未选择过的行动。而且，无论是探索还是利用，都无法避免失败。无模型方法需要在两者之间找到平衡，以最大化回报。这种困境是强化学习范式特有的问题，监督学习和无监督学习范式中不存在。

2. 在线策略与离线策略

• 在线策略学习 ：评估和改进的策略与决策所使用的策略相同。
• 离线策略学习 ：评估和改进的策略与决策所使用的策略不同，类似于外推问题，尝试根据可用数据做出明智决策并预测未经历过的情况。

两者的对比如下：
| 对比项 | 在线策略 | 离线策略 |
| — | — | — |
| 训练方式 | 使用目标策略的确定性结果或样本训练算法 | 在由不同行为策略产生的转移或情节分布上训练，而非目标策略产生的分布 |
| 学习策略 | 从使用策略 π 生成的情节中学习策略 π | 从使用另一个策略 φ 生成的情节中学习策略 π |
| 学习模式 | 边做边学 | 看着别人做时学习 |

3. 基于模