强化学习DDPG：Deep Deterministic Policy Gradient解读

最新推荐文章于 2025-01-15 15:22:19 发布

tostq

最新推荐文章于 2025-01-15 15:22:19 发布

阅读量1.5k

点赞数 1

分类专栏：强化学习文章标签：人工智能机器学习深度学习强化学习 DDPG

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/tostq/article/details/131251612

版权

1. DDPG

DDPG方法相比于传统的PG算法，主要有三点改进：

A. off-policy策略

传统PG算法一般是采用on-policy方法，其将整体强化学习过程分为多个epoch，在每个epoch完成一次policy模型和value模型更新，同时在每轮epoch都需要根据决策模型重新采样得到该轮的训练样本。

但当同环境交互代价比较高时，这种on-policy的方式效率并不好。因此DDPG提出了一种off-policy的方法，其可以利用历史的样本，假设对于历史样本 $\{s,a,r,s'\}$ ，DDPG的off-policy策略会重新根据当前target policy重新估计价值。

$G(s,a)=r + \gamma Q_{\phi _{targ}}(s', \mu_{\theta_{targ} }(s'))$

因此DDPG的对于价值预估模型 $Q_{\phi }(s,a)$ 目标为， $B$ 表示从所有历史样本上随机抽取的Batch

$J(\phi )=\sum_{(s,a,r,s')\sim B} [Q_{\phi }(s,a) - (r +\gamma Q_{\phi _{targ}}(s', \mu_{\theta_{targ} }(s'))]^2$

而传统on-policy策略的目标为，下式中 $R(s,a)$ 可以是MC采样

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。