该论文提出将深度神经网络与Q-learning结合，形成Deep Q-Network（DQN），用于解决Atari游戏。DQN利用CNN处理游戏画面，通过经验回放缓冲区降低数据相关性，实现更稳定的训练。此外，引入经验回放解决了RL中数据分布随策略变化的问题，有效避免了学习过程中的震荡或不收敛。
论文的Motivation是大部分效果比较好的RL算法都是基于大量的人工特征，而Deep Neural Network（CNN等）已经在图像等领域被证明具有很好的直接从原始数据中提取高层特征的能力，因此很自然的想到将Deep Neural Network与RL算法结合。
但是Deep learning与reinforcement learning有很大的不同：
1. deep learning 在训练时需要大量的有标注的训练数据； 而rl是通过与环境交互得到奖赏，通常这个奖赏还是稀疏、延时的
2. deep learning中要求input的数据是独立的； rl中数据是交互的sequence， 具有很高的相关性
3. deep learning中数据的分布是一个固定的，训练的过程相当于是找从一个固定的分布到另一个分布的映射；而rl中的数据分布随着policy的更新是变化的。
本篇论文基于Q-learning提出了DQN（Deep Q-Network），将deep neural network与Q-learning结合，同时针对上述deep learning和rl之间的问题做了一些改进。
回顾Q-learning：
Q-learning是value-based，off-policy的方法，用TD的方法估计value function，Q-function更新：
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
