本文深入探讨了Deep Q-Learning (DQN) 的改进版——Nature DQN，针对DQN存在的问题，Nature DQN引入了两个Q网络以减少目标Q值与当前Q网络参数间的依赖，通过延时更新目标Q网络参数来改善算法的收敛性。文中详细介绍了Nature DQN的建模、算法流程，并给出了CartPole-v0游戏的实例，展示了算法在不同迭代阶段的表现。
在强化学习（八）价值函数的近似表示与Deep Q-Learning中，我们讲到了Deep Q-Learning（NIPS 2013）的算法和代码，在这个算法基础上，有很多Deep Q-Learning(以下简称DQN)的改进版，今天我们来讨论DQN的第一个改进版Nature DQN(NIPS 2015)。
本章内容主要参考了ICML 2016的deep RL tutorial和Nature DQN的论文。
1. DQN(NIPS 2013)的问题
在上一篇我们已经讨论了DQN(NIPS 2013)的算法原理和代码实现，虽然它可以训练像CartPole这样的简单游戏，但是有很多问题。这里我们先讨论第一个问题。
注意到DQN(NIPS 2013)里面，我们使用的目标Q值的计算方式：
yj={RjRj+γmaxa′Q(ϕ(S′j),A′j,w)is_endjistrueis_endjisfalseyj={Rjis_endjistrueRj+
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
