【强化学习】DQN、Double DQN、Dueling DQN、Per DQN、NoisyDQN 学习笔记

如果皮卡会coding

已于 2024-01-23 19:18:39 修改

阅读量2.2k

点赞数 23

CC 4.0 BY-SA版权

分类专栏：强化学习文章标签：强化学习 DQN

于 2024-01-17 21:31:54 首次发布

本文链接：https://blog.youkuaiyun.com/HYY_2000/article/details/135647977

本文介绍了深度Q学习网络(DQN)及其改进版本，如DoubleDQN、DuelingDQN、PerDQN和NoisyDQN，着重讨论了它们的核心原理、解决的问题和伪代码。这些算法在高维状态空间和离散动作环境中广泛应用，尤其在游戏和模拟环境中，通过优化学习稳定性和策略质量来提升性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

部分内容与图片摘自：JoyRL 、 EasyRL

DQN (Deep Q-Network)

说明

DQN通过深度学习技术处理高维状态空间，它的核心是使用深度神经网络来近似Q值函数。传统Q-learning依赖于一个查找表（Q表）来存储每个状态-动作对的Q值，但这在高维空间中变得不可行。DQN通过训练一个神经网络来学习这个映射关系。

在这里插入图片描述
除了用深度网络代替 Q表之外，DQN算法还引入了一些技巧，如经验回放和目标网络。

经验回放：通过存储代理的经验（状态，动作，奖励，新状态）在回放缓存中，并在训练时从中随机抽样，这样做可以打破数据间的时间相关性，提高学习的稳定性和效率。

目标网络：DQN使用了两个网络：一个用于估计当前的Q值（在线网络），另一个用于生成目标Q值（目标网络）。这种分离有助于稳定训练过程，因为它减少了目标值随学习过程快速变化的问题。

伪代码

initialize replay memory D
initialize action-value function Q with random weights
for episode = 1, M do
    initialize state s
    for t = 1, T do
        select action a with ε-greedy policy based on Q
        execute action a, observe reward r and new state s'
        store transition (s, a, r, s') in D
        sample random minibatch