- 博客(3)
- 收藏
- 关注
RSS订阅原创 TRPO算法中关于目标函数的证明
在TRPO（Trust Region Policy Optimization）算法中，新策略的回报与旧策略的回报之间的等式关系是推导目标函数的基础。该等式表示为：其中：是策略的期望折扣回报；是策略下的折扣状态访问分布（即是优势函数，定义为。以上式子原文中也给出了相应的证明过程如下，其中证明过程其实非常容易看懂，然而第一次读原文总会觉得隐隐不安，问题在于不理解“为什么是这个式子”，为什么一上来就没头没尾的将进行分解，而证明过程中又从中还原为原式，让人难以理解其中的动机。
2025-11-13 20:17:30
297
原创 策略梯度定理（Policy Gradient）系列算法Pytorch代码实现
在学习强化学习算法的过程中发现，实际上基于策略梯度定理的强化学习算法是一个大类，会接触到一系列算法与相关的名词（例如REINRECE, Acotr-critic, A2C, A3C等等）。但实际发现网上大多数相关介绍与代码实现似乎并没搞清楚他们之间的区别和联系，经常张冠李戴（比如一些标题为A2C的代码实际里面为REINRECE+baseline算法），因此本文希望直接通过代码来对策略梯度定理系列算法进行一个总结，供大家参考。
2025-10-30 21:17:59
796
原创 链接：策略梯度（Policy Gradient）系列文章
推荐一个讲解策略梯度定理相关理论的链接，串起来介绍Reinforce、AC、TRPO、PPO、DPG等一系列算法，较为系统。
2025-10-28 16:25:26
239
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人