PPO算法基本原理（李宏毅课程学习笔记）

最新推荐文章于 2024-12-17 16:14:08 发布
原创 最新推荐文章于 2024-12-17 16:14:08 发布 · 1.9k 阅读 · 14 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#强化学习

分享来自李宏毅的强化学习教学视频PPT，包含了详细的PPO算法解析，每页附有个人的注解和公式推导，旨在帮助读者深入理解PPO算法的工作原理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

PPT来源

PPT来自李宏毅大神强化学习的教学视频，我在每一页上做了讲解笔记，希望给对PPO算法原理感兴趣的小伙伴能够带来一点点答疑解惑

下面上PPT来喽！！！slice上紫色文字是我的注释、理解、公式推导的补充

请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述

看李宏毅老师PPO笔记
读书笔记
06-07 482
参考学习：https://github.com/datawhalechina/easy-rl 在强化学习里面，环境跟奖励函数不是你可以控制的，环境跟奖励函数是在开始学习之前，就已经事先给定的。你唯一能做的事情是调整Policy Network里面的策略(policy)，使得可以得到最大的奖励。Policy Network里面会有一个策略， 这个策略决定了Policy Network的行为。策略就是给一个外界的输入，然后它会输出Policy Network现在应该要执行的行为。 网络的输入就是现在机器看.
【李宏毅深度强化学习笔记】2、Proximal Policy Optimization算法(PPO)
ACL_lihan的博客
01-15 1万+
【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient） 【李宏毅深度强化学习笔记】2、Proximal Policy Optimization (PPO) 算法（本文） 【李宏毅深度强化学习笔记】3、Q-learning（Basic Idea） 【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法 【李宏毅深度强化学习笔记】5、Q-learning用于连续动...
李宏毅强化学习ppo算法ppt
04-11
李宏毅强化学习ppo算法ppt
【李宏毅深度强化学习笔记】—2、Proximal Policy Optimization算法(PPO)
qq_43703185的博客
06-30 626
原文链接：https://blog.youkuaiyun.com/ACL_lihan/article/details/103989581补充： 问题：PPO2的损失函数，也就是奖励的平均值函数是怎么通过约束重要性权重让θ和θk的输出分布不至于差距很大的？也就是 让其不至于差太多，导致off-policy失效 理解： 当A>0时候，根据损失函数（奖励函数平均值），此时会提高pθ（s,a）的概率，所以设置上限，不让pθ（s,a）超过pθk（s,a）太多（1+ξ），如果超过了，则会被截断到1+ξ，则损失函数的值不变了，也就没
李宏毅机器学习系列-强化学习之近端策略优化PPO
王伟王胖胖的博客
09-03 2746
李宏毅机器学习系列-强化学习之近端策略优化策略梯度的另一个问题 策略梯度的另一个问题 上一篇深度强化学习介绍到，我们的奖励梯度是这个样子： 这个就意味着，在同一场游戏里不同的sts_tst​下，采取某个ata_tat​的权重有一个相同的R(τn)R(\tau^n)R(τn)，这显然是有问题的。比如如果某个R(τn)R(\tau^n)R(τn)好，并不意味着他里面的a都好，要提高出现的概率，相反R...
李宏毅【课件PPT】
12-07
此压缩包包含李宏毅老师的机器学习所有课件，都是在李宏毅老师个人主页下载整理的，建议配合B站李宏毅老师的Machine Learning 视频一块使用，里面的公式最好推导一下，效果更佳！
李宏毅深度强化学习入门笔记：PPO
最新发布
暗o星
12-17 1049
πθτpθ​pθ′​。
强化学习笔记【5】近端策略优化（PPO）算法
qq_41030408的博客
07-29 3564
该系列主要是听李宏毅老师的《深度强化学习》过程中记下的一些听课心得，除了李宏毅老师的强化学习课程之外，为保证内容的完整性，我还参考了一些其他的课程，包括周博磊老师的《强化学习纲要》、李科浇老师的《百度强化学习》以及多个强化学习的经典资料作为补充。 使用说明 笔记【4】到笔记【11】为李宏毅《深度强化学习》的部分； 笔记 【1】和笔记【2】根据《强化学习纲要》整理而来； 笔记 【3】和笔记【12】根据《百度强化学习》整理而来。 一、相关术语 (1）on-policy:要学习的agent跟与...
李宏毅2023春季机器学习笔记 - 01生成AI（ChatGPT）
linyuxi_loretta的博客
03-13 5860
预设的知识储备要求：数学（微积分、线性代数、机率）；编程能力（读写python）这门课专注在 深度学习领域deep learning，事实上深度学习在今天的整个机器学习（ML）的领域使用非常广泛，可以说是最受重视的一项ML技术。这门课可以作为你的机器学习的第一堂课，修完后可以更深入的把这个技术，用在你未来感兴趣的领域。课程录像和作业：如果 只凭google colab可以取得及格的成绩，基本上如果有越多的运算资源，越有机会在这门课取得比较好的成绩。
李宏毅深度强化学习PPT（含机器学习课程对RL的简介）
11-01
李宏毅深度强化学习PPT（含机器学习课程对RL的简介）
李宏毅强化学习笔记【1.PPO】
*晴儿*的博客
01-17 389
策略梯度Policy Gradient policy决定actor的行为，给定一个输入，输出行为 公式和之前讲的一样 R是一个τ的总分！！！！！！！！！！！不是单个s，a的reward tip1：add baseline 之前说过 tip2：这个action之前的reward与这个action无关，所以只计算该action和action之后的reward。...
李宏毅深度学习——强化学习
wkywcd的博客
09-10 1672
强化学习一、RL是什么二、RL的框架1、第一步：Function with unknown2、第二步：定义损失函数3、第三步：Optimization三、Policy gradient（1）如何控制你的actor（2）如何确定哪个行为是好的版本1（3）如何确定哪个行为是好的版本2（4）如何确定哪个行为是好的版本3（5）exploration四、Actor-Critic1、Gritic（1）如何估计value function（2）将critic用在Actor中2、Tip of Actor-Critic五、R
【李宏毅深度强化学习2018】P3 Q-learning（Basic Idea）
野心家-Andy的博客
11-15 3493
                             第三讲 Q-learning（Basic Idea） 视频地址：https://www.bilibili.com/video/av24724071?t=1121&p=3 PPT地址：http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2018/Lecture/QLearning%...
李宏毅机器学习系列-深度强化学习介绍
王伟王胖胖的博客
09-02 1019
李宏毅机器学习系列-深度强化学习介绍深度强化学习强化学习与监督学习的区别训练语音对话机器人更多的应用玩游戏的例子强化学习的难点： 深度强化学习 深度强化学习可以理解为深度学习和强化学习的结合体，有个大神说AI=RL+DL，就是这个意思，Deep Mind用这个技术玩游戏，下围棋，一时间引领了AI的潮流。 强化学习 先说说强化学习，简单来说就是你有一个智能体，他会观察环境，然后做出相应的行为，然后...
深度强化学习笔记之PPO算法理解（1）
Azahaxia的博客
05-27 8881
深度强化学习笔记之PPO算法理解（1） 笔记内容来源于李宏毅老师的深度强化学习的PPT。 关于PPO（Proximal Policy Optimization），李老师分为了三个部分进行了介绍。 Policy Gradient：该方法是PPO的前身，与基于价值的强化学习方法不同，策略梯度法是对策略进行更新； On-policy | Off-policy Add constraint：对Policy Gradient进行一些限制，前者就变成了PPO。 1.Policy Gradient 与基于价值的强化
Proximal Policy Optimization (PPO) 算法理解：从策略梯度开始
qq_43734019的博客
03-14 1万+
零基础理解PPO算法
PPO算法（附pytorch代码）
热门推荐
qq_45889056的博客
04-21 5万+
PPO算法是一种强化学习中的策略梯度方法，它的全称是Proximal Policy Optimization，即近端策略优化1。PPO算法的目标是在与环境交互采样数据后，使用随机梯度上升优化一个“替代”目标函数，从而改进策略。PPO算法的特点是可以进行多次的小批量更新，而不是像标准的策略梯度方法那样每个数据样本只进行一次梯度更新12。PPO算法有两种主要的变体：PPO-Penalty和PPO-Clip。
【李宏毅深度强化学习2018】P2 Proximal Policy Optimization (PPO)
野心家-Andy的博客
10-21 6618
                         第二讲 Proximal Policy Optimization(PPO) 视频地址：https://www.bilibili.com/video/av24724071 课件地址：http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html 第一讲整理：【李宏毅深度强化学习2018】P1 ...
李宏毅深度学习ppt总结
qq_43145072的博客
06-21 3847
Lecture 1: introduction of deep learning 深度学习3步骤： 1.定义神经网络 2.loss 评价 预测值和真实的测试数据的目标值进行比对，它们的差距就是Loss。一个好的神经网络应该使loss尽可能小。 3.获取最佳的神经网络参数（学习方法） 采用梯度下降算法 Lecture II：Tips for Training DNN A.网络优化训练 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值