33、深度强化学习：发展、挑战与未来展望

深度强化学习：发展、挑战与未来展望

1. 深度强化学习的发展

深度强化学习经历了显著的转变，从最初用于解决小型表格问题，逐步发展到如今能够应对复杂的多智能体实时策略游戏等场景。其发展历程可大致分为以下几个阶段：

1.1 表格方法

强化学习始于简单的智能体/环境循环，环境执行智能体的动作并返回奖励（无模型方法），使用马尔可夫决策过程来形式化强化学习。价值和策略函数最初以表格形式实现，这限制了该方法仅适用于小型环境，因为智能体必须将函数表示存储在内存中。典型环境包括网格世界、推车杆和山地车等，典型算法是表格 Q 学习。这些算法设计的基本原则包括探索、利用以及在线策略/离线策略学习。此外，还发展了基于模型的强化学习形式——想象。这部分领域形成了一个成熟且稳定的基础，但仅适用于学习小型单智能体问题。随着深度学习的出现，该领域进入了一个新的发展阶段。

1.2 无模型深度学习

受监督图像识别领域突破的启发，深度学习也被应用于 Q 学习，促成了深度强化学习在 Atari 游戏上的突破。深度学习在强化学习中取得成功的基础是打破相关性和提高收敛性的方法（经验回放缓冲区和单独的目标网络）。DQN 算法已广为人知。基于策略和演员 - 评论家方法与深度学习配合良好，也适用于连续动作空间。已经开发了许多无模型演员 - 评论家变体，这些算法通常在模拟机器人应用中进行测试。算法通常能达到高质量的最优解，但无模型算法具有较高的样本复杂度。这部分领域——深度无模型价值和基于策略的算法，现在可以被认为是成熟的，其算法行为已被充分理解，并且在高维单智能体环境中取得了良好的效果。典型的高维环境包括街机学习环境和 MuJoCo 模拟物理运动任务。

1.