强化学习笔记-13 Policy Gradient Methods

最新推荐文章于 2025-12-06 23:53:01 发布
原创 最新推荐文章于 2025-12-06 23:53:01 发布 · 784 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#笔记 #强化学习 #机器学习

强化学习中，PolicyGradient算法通过参数化决策模型直接选择动作。对于离散小动作空间，常使用判别式模型和softmax进行概率选择；在连续动作空间，生成式模型如高斯分布被采用。PolicyGradient定理指导了损失函数的构建，以优化模型。累积收益常因状态差异引入偏差，通过基线校正可以改进参数更新。Actor-Critic方法结合了策略梯度和值函数估计，进一步优化学习过程。

强化学习算法主要在于学习最优的决策，到目前为止，我们所讨论的决策选择都是通过价值预估函数来间接选择的。本节讨论的是通过一个参数化决策模型\pi(a|s,\theta )来直接根据状态s选择动作，而不是根据价值预估函数v(s|w)来间接选择。

我们可以定义如下Policy Gradient更新策略，来求解参数化决策模型\pi(a|s,\theta )的参数，其中J(\theta_t)表示用于衡量决策模型优劣的损失函数。

\theta_{t+1} = \theta_{t} + \partial_{\theta_{t}} J(\theta_t)

1. Policy Approximation and its Advantages

对于参数化决策模型\pi(a|s,\theta )存在两种建模方式：生成式或判别式。

当动作空间是离散且较小时，可以采用判别式模型h(s,a,\theta )，表示状态-动作对s,a的优劣得分，此时\pi(a|s,\theta )可以表示为下式，这种通过softmax求得选择动作概率，兼顾了ε-greedy动作探索的功能。另一方面在很多情况下随机动作也是最优的，softmax方式具备这种特性。

最低0.47元/天 解锁文章
tostq
关注
强化学习Policy Gradient笔记
weixin_47924470的博客
04-11 709
策略梯度（Policy Gradient）方法是强化学习中的一种重要范式，它直接对策略进行参数化，并通过梯度上升（或下降）来优化策略。与值函数方法不同，策略梯度方法不依赖于估计状态值或动作值，而是直接学习一个从状态到动作的映射（即策略）。
David Silver UCL强化学习课程学习笔记七之Policy Gradient Methods 策略梯度
dzcera的博客
02-06 909
Lecture 7: Policy Gradient Methods https://www.davidsilver.uk/wp-content/uploads/2020/03/pg.pdf Introduction Policy-Based RL的优点：更好的收敛性；在高维或连续动作空间中有效；可以学习随机策略 缺点：通常会收敛到局部最优，而不是全局最优；评估一项政策通常效率低下且差异很大 目标函数 一般而言，只要出现随机的策略的时候，一般都会比确定性策略效果要好。针对我们的目标函数，我们有如下几
【强化学习的数学原理-赵世钰】课程笔记（九）策略梯度方法（Policy Gradient Method）
qq_64671439的博客
04-16 4836
万字长文，环环相扣，详细介绍强化学习基于策略的 policy gradient 的方法，会持续更新
强化学习读书笔记 - 13 - 策略梯度方法(Policy Gradient Methods)
weixin_30508309的博客
03-26 191
强化学习读书笔记 - 13 - 策略梯度方法(Policy Gradient Methods) 学习笔记： Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto c 2014, 2015, 2016 参照 Reinforcement Learning: An Introduction, Ric...
Policy Gradient Methods for Reinforcement Learning with Function Approximation 论文精读
明湖小虾的博客
03-29 799
Policy Gradient Methods发表于2000年，是强化学习方法的源头，其中涉及到了策略、状态动作价值、智能体的目标函数、AC算法的原理。 智能体的目标函数的求解方法便是使用基于梯度的方法进行迭代寻优，若问题为凸优化问题，则该问题最终会收敛到全局最优解。
Large-Scale Interactive Recommendation with Tree-Structured Policy Gradient AAAI2019 阅读笔记
strawberry47的博客
05-12 857
目录IntroductionMethodsTree-structured Policy Gradient Recommendation Intuition for TPGRBalanced Hierarchical Clustering over ItemsArchitecture of TPGRState RepresentationExperiments and Results结果：Time ComparisonInfluence of Clustering Approach & Tree De
强化学习RL学习笔记8-策略梯度（Policy Gradient）
liaojq2020的博客
12-10 1199
强化学习笔记专栏传送 上一篇：强化学习RL学习笔记7-表格型方法（tabular methods） 下一篇：持续创作中… 目录强化学习笔记专栏传送前言Policy Gradient根据policy gradient更新policy的过程TipsTip 1: Add a BaselineTip 2: Assign Suitable CreditREINFORCE: Monte Carlo Policy Gradient 前言 强化学习（Reinforcement Learning, RL），又称再励学习、评价
深度强化学习笔记01【Policy-Gradient/Actor-Critic/DQN/PPO】
zpz84761695的博客
08-15 591
本系列文为作者本人在学习过程中笔记，为本人复盘学习用，主观色彩浓厚，且仅适合对DRL有一定了解的人阅读！
强化学习笔记-RM,TD,function approximation
AGemini233的博客
08-17 809
随机近似（Stochastic approximation, SA）是指为求解根查找或优化问题而采用的随机迭代算法的广义类。与许多其他根查找算法（如基于梯度的算法）相比，随机逼近算法具有显著优势，因为它不需要表达目标函数或其导数。Robbins-Monro (RM) 算法是随机近似理论中最经典、最基础的算法之一。考虑问题：求解方程 g(w)=0g(w) = 0g(w)=0 。这是一个广泛的问题，很多问题都可以转化为该形式。例如，求解 最优化 J(w)J(w)J(w) ，则该问题可以转化为求： g(w)=∇
强化学习（RLAI）读书笔记第十三章策略梯度方法（Policy Gradient Methods）
无所知的博客
09-19 2849
强化学习（RLAI）读书笔记第十三章策略梯度方法（Policy Gradient Methods）13.1 Policy Approximation and its Advantages13.2 The Policy Gradient Theorem13.3 REINFORCE: Monte Carlo Policy Gradient13.4 REINFORCE with Baseline13.5...
CentOS7 + 芯片验证工具环境部署全笔记：从虚拟机到 VCS/Verdi 实战
m0_46663240的博客
12-03 787
本文提供从CentOS7虚拟机搭建到芯片验证工具部署的完整指南。首先介绍VMware虚拟机安装CentOS7的详细步骤，包括磁盘分区、用户设置等关键配置。随后讲解网络连接设置、VNC远程服务部署及防火墙配置，实现可视化远程操作。最后涵盖vim编辑器和Shell环境的个性化优化，为后续芯片验证工具安装做好准备。文中包含各环节的常见问题解决方案和实用配置代码，适合芯片验证初学者和Linux运维人员参考使用。
TensorRT笔记（5）：研究timingCache
ouliten的博客
12-02 1095
在里出现了大量的timingCache，但是当时没有取研究这是干啥的，本文就来解析一下。样例都基于上面的文章。
2025-11-27-LeetCode刷题笔记-3381-长度可被K整除的子数组的最大元素和
tkhhhhh的博客
12-04 378
摘要： LeetCode 3381题要求找出长度能被k整除的子数组的最大和。解题关键在于结合前缀和与模运算技巧：通过计算前缀和数组，按位置模k分类，维护每类余数的最小前缀和。这样可以在O(n)时间内计算每个位置结尾的子数组最大和，只需一次遍历即可得到结果。算法空间复杂度为O(k)。提供了Python、Go和C++的实现代码，并讨论了负数处理等边界情况。核心思路是利用同余性质优化计算，避免暴力枚举。
C++基础：Stanford CS106L学习笔记 1 类型与结构
WM2101的博客
12-02 337
本文介绍了C++的类型系统和结构体特性。在类型系统方面，C++采用静态类型，变量类型一旦确定不可更改，与Python的动态类型形成对比。静态类型能提高效率并减少运行时错误。文章还介绍了using类型别名、auto类型推断以及函数重载等现代类型特性。在结构体方面，展示了如何定义和使用结构体，以及使用std::pair模板简化多值返回的实现方式。通过对比Python和C++的代码示例，突出了C++在类型安全性和编译时检查方面的优势。
12_Spring AI 干货笔记之对话模型 Amazon Bedrock Converse API
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
12-02 1099
本文全面介绍Spring AI对Amazon Bedrock Converse API的集成。该API为多种AI模型提供了统一的对话接口，支持工具调用、多模态输入（图像、视频、文档）及流式响应。文章详细阐述了自动配置步骤、运行时选项、特别是创新的提示词缓存功能及其多种策略（如SYSTEM_ONLY、CONVERSATION_HISTORY），可显著优化成本与性能。同时提供了从基础连接到高级应用（如法律分析、代码审查）的完整代码示例与实践指南。
0基础快速入门SEO笔记
qq_51704382的博客
12-02 142
这篇SEO学习笔记总结了百度SEO优化的核心要点：SEO是通过用户分析提升网站在搜索结果中的自然排名，与SEM竞价广告形成对比。笔记详解了SEO工作内容，包括TDK设置、链接优化、网站加载速度等关键因素，强调用户体验是SEO根基。同时介绍了蜘蛛爬虫的偏好（短网址、英文域名）、站长工具使用、闪电算法等百度排名规则，以及图片alt标签、栏目数量等实操技巧。最后指出SEO需要平衡优化与自然，避免过度优化被判定作弊，实现平台与商家的双赢。
学习笔记二十三：支持向量机-间隔与支持向量
dengdaijc的专栏
12-02 706
本文介绍了支持向量机(SVM)的基本原理。SVM通过在样本空间中寻找最优划分超平面来实现分类，其核心思想是最大化分类间隔以提高泛化能力。关键概念包括：划分超平面的数学表示（由法向量和位移项定义）、支持向量（决定超平面位置的最近样本点）以及间隔（反映分类置信度）。SVM的基本型是一个凸二次规划问题，通过最小化法向量范数平方来最大化间隔，同时满足所有样本正确分类的约束条件。该方法具有理论严谨、模型稀疏、全局最优等优势，是经典的分类学习算法。
无人机数据链路聚合入门笔记
持之以恒
12-03 350
多链路并行传输，提升带宽和可靠性动态链路管理，适应复杂环境低延迟、高可靠的数据传输。
《人工智能现代方法（第4版）》 第8章 一阶逻辑 学习笔记
最新发布
data_disciple的博客
12-06 373
本章介绍了从命题逻辑升级到一阶逻辑的必要性和方法。命题逻辑只能描述具体事实，无法表达普遍规律，而一阶逻辑通过引入对象、关系、量词等要素，使智能体能够进行概括性思考。文章详细讲解了一阶逻辑的语法规则（常量、变量、谓词、函数、量词等）、语义解释（模型论）以及知识工程应用（如亲属关系推理）。一阶逻辑虽然强大，但仍存在表达"大多数"、概率和模糊概念等局限。作为AI知识表示的基础，一阶逻辑实现了从"点状思维"到"关系型思维"的转变，但现实世界的不确定性仍需非
深入理解强化学习：笔记与应用实践材料
- Policy Gradient Methods：直接学习策略函数，通常用于连续动作空间或复杂的决策过程。 - Actor-Critic Methods：结合了策略梯度和价值函数的方法，它们使用actor来选取行动，用critic来评估行动的好坏。 4. **...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值