【强化】Q-learning advanced tips

Citroooon

已于 2023-07-09 22:31:01 修改

阅读量86

点赞数

文章标签：学习

于 2023-07-09 22:30:14 首次发布

本文链接：https://blog.youkuaiyun.com/Citroooon/article/details/131628093

版权

文章介绍了强化学习中的一些关键技巧，包括DoubleDQN用于缓解Q值高估问题，DuelingDQN通过分离状态价值和优势函数来优化更新，Prioritizedreply策略在经验回放缓冲区中优先选取重要样本，Multi-step学习平衡蒙特卡洛和时间差分学习，以及NoisyNet通过网络参数噪声探索策略，还有DistributionalQ-function对Q值作为分布期望的建模，以更全面地表示动作的价值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Ref. 李宏毅强化学习课程
在这里插入图片描述

Tips of Q-learning

1. Double DQN

Q value 往往是被高估，double DQN可以环节这个问题
· 为什么会高估？我们想让 $Q(s_t,a_t)$ 尽可能接近target $r_t + max_a Q(s_{t+1},a)$ , 在estimate network中，由于误差，被高估的actor就会被选择出来
· double DQN是将target换成 $r_t + Q'(s_t,argmax_a Q(s_{t+1},a))$ , Q只负责提案，Q’负责执行，互相制约兜底。Q’是不动的

2. Dueling DQN

改network的架构
在这里插入图片描述
先output一个scaler v(s) , 假设是1.0，在output A(s,a) 并相加

这样的好处是，更新v就可以把Q都更新了，而不用动A；但是网络倾向更新A，把V都学成0怎么办？给A增加一些constrain，比如先normalize A 再和V相加，相当于削弱A的权重。