【强化学习】关于PPO、SAC算法中价值函数的一些胡思乱想

最新推荐文章于 2025-12-04 16:26:39 发布
原创 最新推荐文章于 2025-12-04 16:26:39 发布 · 677 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

作者分享了在知乎上关于强化学习中的价值函数新见解，包括公式讨论和实践案例。链接地址包含两篇文章深入探讨了这一主题。
whycadi
关注
【深度强化学习】5. Proximal Policy Optimization
pprp的博客
10-31 672
【DataWhale导读】李宏毅老师的深度强化学习之PPO（近端策略优化）部分内容。 文章目录1. 概念/关键词2. from on-policy to off-policy3. PPO/TRPO3.1 PPO-Penalty3.2 PPO-Clip4. 参考 1. 概念/关键词 名称 解释 On-Policy 学习的agent和与环境互动的agent是同一个（自己打王者） Off-Policy 学习的agent和与环境互动的agent不是同一个（学习主播打王者） Aθ(st,at)
强化学习之SAC算法
m0_64087341的博客
10-16 1975
强化学习之SAC算法实战
【强化学习】Soft Actor-Critic (SAC) 算法
博主关注人工智能、强化学习、嵌入式等||985高校A+学科研究生、猿龄六年||优快云博客专家、2024年博客之星TOP33、华为云享专家、人工智能领域优质创作者。
01-07 2万+
Soft Actor-Critic（SAC） 是一种最先进的强化学习算法，属于 Actor-Critic 方法的变体。它特别适合处理 连续动作空间，并通过引入最大熵（Maximum Entropy）强化学习的思想，解决了许多传统算法中的稳定性和探索问题。
强化学习笔记--DDPG算法，PPO算法，SAC算法
jiangziben的博客
08-01 1573
之前DQN的学习笔记中提到，DQN只适合动作空间有限的离散动作场景，要用到连续动作场景比较麻烦。DDPG算法则刚好相反，只能用到连续动作场景，不能用到离散动作场景。DDPG算法核心只是在DQN算法上改了动作的生成方式，它也是一种off-policy算法。不同于DDPG算法，PPO算法是一类既适用于连续动作空间，也适用于离散动作空间的Actor-Critic算法。PPO算法因为其稳定，不需要怎么调超参就能训出较好的结果，所以常被用做基准算法，建议重点掌握。
强化学习-6 DDPG、PPO、SAC算法
cezyzhao的博客
07-05 2187
ddpg ppo sac 算法
强化学习笔记之【SAC算法】
rvdgdsva的博客
10-11 3571
强化学习第4篇.强化学习方向的学习者可以参考或者复刻
强化学习极简入门：通俗理解MDP、DP MC TD和Q学习、策略梯度、PPO
热门推荐
结构之法 算法之道
02-10 12万+
强化学习里面的概念、公式，相比ML/DL特别多，初学者刚学RL时，很容易被接连不断的概念、公式给绕晕，而且经常忘记概念与公式符号表达的一一对应(包括我自己在1.10日之前对好多满是概念/公式的RL书完全看不下去，如今都看得懂了，故如果读文本之前，你正在被RL各种公式困扰，相信看完这篇RL极简入门后就完全不一样了)。
深入理解强化学习PPO算法（附带pyhton代码）
dc_young的博客
09-25 1222
PPO1算法通过引入KL散度惩罚项来约束策略更新的幅度，确保新策略不会偏离旧策略太远。这种方法的主要优点是提供了理论上的稳定性保证，适合对安全性要求高的应用。主要缺点是计算相对复杂，需要计算KL散度并自适应调整惩罚系数，这增加了实现难度和计算开销。PPO2算法通过裁剪机制约束策略更新幅度，在保持训练稳定性的同时实现了高效优化。实现简单，无需复杂约束优化计算高效，适合大规模应用超参数少，易于调参在大多数任务中表现良好PPO2已成为强化学习领域的基准算法。
深度强化学习中SAC算法：数学原理、网络架构及其PyTorch实现
deephub
01-03 9917
本文系统地阐述了SAC算法的数学基础和实现细节。通过对演员网络和评论家网络的深入分析，我们可以看到SAC算法在以下几个方面具有显著优势：理论框架基于最大熵强化学习的理论基础保证了算法的收敛性双Q网络设计有效降低了值函数估计的过度偏差自适应温度参数实现了探索-利用的动态平衡实现特点采用重参数化技巧确保了策略梯度的连续性软更新机制提升了训练稳定性基于PyTorch的向量化实现提高了计算效率实践价值算法在连续动作空间中表现优异样本效率高，适合实际应用场景。
精选资源
基于pytorch深度强化学习的PPO,DQN,SAC,DDPG等算法实现python源码.zip
11-06
基于pytorch深度强化学习的PPO,DQN,SAC,DDPG等算法实现python源码.zip基于pytorch深度强化学习的PPO,DQN,SAC,DDPG等算法实现python源码.zip基于pytorch深度强化学习的PPO,DQN,SAC,DDPG等算法实现python源码.zip基于...
精选资源
基于gym的pytorch深度强化学习(PPO,DQN,SAC,DDPG,TD3等算法).zip
02-19
DQN是强化学习中的里程碑式算法，首次证明了深度神经网络可以用于解决高维度状态空间的问题。它通过经验回放缓冲区和目标网络稳定化了Q-learning的学习过程，避免了Q值的过度估计。 3. Soft Actor-Critic (SAC) SAC...
基于turtlebot3+pytorch的深度强化学习DQN,DDPG,PPO,SAC算法源码.zip
04-10
【资源说明】 1、该资源包括项目的全部源码，下载可以直接使用！ 2、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设...基于turtlebot3+pytorch的深度强化学习DQN,DDPG,PPO,SAC算法源码.zip
【机器学习】23-25 决策树 & 树集成
weixin_54010404的博客
12-02 1025
本文系统性地介绍了决策树模型及其相关算法。首先阐述了决策树的基本结构与学习过程，重点讨论了如何通过最大化信息增益选择最优划分特征，并详细解释了熵作为纯度衡量指标的计算方法。文章涵盖了分类树与回归树的构建逻辑，包括离散特征处理（独热编码）和连续特征阈值选择。 进一步，文章深入探讨了决策树集成方法，重点分析了随机森林算法通过放回抽样和特征随机选择来增强模型鲁棒性的机制。特别介绍了XGBoost算法的核心优势：自适应样本权重调整、内置正则化和高效实现。最后，文章对比了决策树集成与神经网络的应用场景。
【模式识别与机器学习（8）】主要算法与技术（下篇：高级模型与集成方法）之 元学习与集成方法：组合多个学习器来提高整体性能
hiliang521的博客
12-02 845
【模式识别与机器学习（8）】主要算法与技术（下篇：高级模型与集成方法）之 元学习
【模式识别与机器学习（15）】机器学习算法-主成分分析
hiliang521的博客
12-02 858
【模式识别与机器学习（15）】主成分分析
机器学习（一）
weixin_52554463的博客
12-01 930
机器学习学习笔记
当AI遇见MEMS：机器学习如何优化微振镜的控制与可靠性预测
最新发布
m0_57847742的博客
12-04 1020
您认为在控制优化与可靠性预测这两个方向中，哪一项的产业化落地会更快，面临的障碍更小？
用Python玩转GAN：让AI学会“造假”的艺术
2303_77568009的博客
12-03 1492
本项目基于PyTorch实现了生成对抗网络（GAN），用于生成手写数字图像。通过搭建生成器和判别器的卷积神经网络结构，采用对抗训练策略，成功在MNIST数据集上训练出能够生成逼真数字图像的模型。实践过程中解决了GPU环境配置、Windows多进程加载数据、网络优化等关键技术问题，最终实现了从随机噪声到清晰数字图像的端到端生成。该实践加深了对深度学习框架使用、模型训练调优及GAN原理的理解，为机器学习算法学习提供了完整案例。
学习笔记二十三：支持向量机-间隔与支持向量
dengdaijc的专栏
12-02 671
本文介绍了支持向量机(SVM)的基本原理。SVM通过在样本空间中寻找最优划分超平面来实现分类，其核心思想是最大化分类间隔以提高泛化能力。关键概念包括：划分超平面的数学表示（由法向量和位移项定义）、支持向量（决定超平面位置的最近样本点）以及间隔（反映分类置信度）。SVM的基本型是一个凸二次规划问题，通过最小化法向量范数平方来最大化间隔，同时满足所有样本正确分类的约束条件。该方法具有理论严谨、模型稀疏、全局最优等优势，是经典的分类学习算法。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值