深度Q学习的收敛性分析：通过渐近分析方法

深度Q学习是一种重要的强化学习算法，它涉及到训练一个深度神经网络，以逼近众所周知的Q函数。

• 尽管在实验室条件下非常成功，但理论和实践之间的严重差距以及缺乏正式的保证阻碍了它在现实世界中的使用。

采用动态系统的角度，我们在现实和可验证的假设下，提供了一个流行版本的深度Q学习的一个理论分析。更具体地说，我们证明了算法收敛性的这个重要结果，并描述了学习过程的渐近行为。

• 我们的结果揭示了算法迄今为止无法解释的特性，并有助于理解经验观察到的结果，如即使在训练后性能（表现）的不一致性。
• 与以往的理论不同，我们的分析适应具有多个平稳分布的状态马尔可夫过程。
• 尽管我们关注的是深度Q学习，但我们相信我们的理论可以应用于理解其他深度学习算法。

在过去的十年里，人工智能（AI）在玩ATARI、GO和计算机视觉任务方面表现出了超人的表现。玩ATARI和GO的AI是基于深度Q学习，这是最流行的深度强化学习算法。在受控环境（实验室设置）中，深度Q学习是解决顺序决策问题（自主车辆控制、智能电网控制等）时最流行的选择。然而，实验室的成功并没有转化为在现实世界中的部署。这是因为不存在严格的性能（不是必然收敛）保证。最近，人们集中精力向这个方向努力。然而，初步的理论结果给出了不合理的假设，如需要函数近似器的线性性和已知状态马尔可夫过程转移核。

1. 概述

强化学习(RL) 是机器学习的一个重要分支，近年来受到越来越多的关注。粗略