李宏毅教授Policy Gradient课程笔记总结

最新推荐文章于 2024-12-17 16:14:08 发布
最新推荐文章于 2024-12-17 16:14:08 发布
阅读量656 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 强化学习笔记 文章标签： 策略梯度 笔记总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42825220/article/details/97300172
这篇博客详细介绍了Policy Gradient方法，包括求解梯度的技巧、On-policy与Off-policy的区别，以及如何通过重要性采样和PPO算法来优化。文章探讨了在实践中控制策略分布差距的重要性，并简要概述了简化版的PPO算法流程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Policy gradient：

求解梯度trick：

∇fx=f(x)∇logf(x)

Tip1：将回报值的期望作为基线，使得每次计算的回报有正负区别

Tip2：不将整场游戏得到的reward作为权重，为每个动作分配应有的权重，权重即为从当前时间t开始所有reward的累加

改进：增加折扣

最低0.47元/天 解锁文章

200万优质内容无限畅学
【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient）
ACL_lihan的博客
01-17 2万+
【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient）（本文） 【李宏毅深度强化学习笔记】2、Proximal Policy Optimization (PPO) 算法 【李宏毅深度强化学习笔记】3、Q-learning（Basic Idea） 【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法 【李宏毅深度强化学习笔记】5、Q-learning用于...
李宏毅教授A3C课程笔记总结
weixin_42825220的博客
07-25 739
A3C (Asynchronous Advantage Actor-Critic) 远优于DQN Alpha go用到了model-based的方法 On-policy：学习的agent和与环境互动的agent是同一个 Off-policy：学习的agent和与环境互动的agent是不同的 注意学习的agent和交互的agent之间的差别不能太大 Actor：是一...
李宏毅强化学习课程教学笔记--Policy gradient
weixin_42421591的博客
08-11 473
强化学习：policy gradient （PG）算法的原理简讲与弊端
李宏毅深度强化学习笔记（一）Policy Gradient
我的博客
07-13 1147
李宏毅深度强化学习笔记（一） 参考jessie_weiqing博客：https://blog.youkuaiyun.com/cindy_1102/article/details/87905272 李宏毅深度强化学习课程 https://www.bilibili.com/video/av24724071 Policy Gradient 术语和基本思想 基本组成: actor (即policy gradie...
李弘毅深度强化学习笔记【1 Policy Gradient 】
weisiqi520的博客
04-16 405
强化学习得三个主要要素：actor（智能体本身），env（环境），reward function（奖励） 但是环境我们是无法改变得，reward我们也无法改变，唯一可以改变得是智能体得动作 智能体得策略：策略Π就是智能体在环境s得情况下选择行动a的概率 在policy gradient的算法中，我们用神经网络来拟合策略policy。神经网络的参数。 神经网络的输入是机器的观测值（可...
李宏毅深度强化学习(国语)课程(2018) 笔记（一）Policy Gradient （Review）
qq_22749225的博客
06-26 896
李宏毅深度强化学习(国语)课程(2018) 笔记
李宏毅深度强化学习入门笔记：PPO
最新发布
暗o星
12-17 1053
πθτpθ​pθ′​。
李宏毅深度强化学习入门笔记：强化学习简介
暗o星
12-06 875
通过演示学习（Learning by Demonstration)，也称为模仿学习（Imitation Learning）、或学徒学习（Apprenticeship Learning）将 Network 看成一个函数，用来学习典型的监督学习任务。Agent 的 action 受到接收的序列数据的影响。
【李宏毅深度强化学习笔记】—1、策略梯度方法（Policy Gradient）
qq_43703185的博客
06-30 899
1、介绍了actor、environment、reward function2、在深度强化学习中，policy可以看成是参数为的网络，输入state，输出采取各种action的概率3、一轮游戏叫做episode4、trajectory={s1,a1,s2,a2,……}，在给定policy的参数的情况下，可以计算每一个存在的概率。5、总的expected reward=6、使用policy gradient ascend求 expected reward的最大值。
李宏毅教授《一天搞懂深度学习》
01-15
《1天搞懂深度学习》，300多页的ppt，台湾李宏毅教授写的，非常棒。 不夸张地说，是我看过最系统，也最通俗易懂的，关于深度学习的文章。
李宏毅教授Batch Normalization课程笔记总结
weixin_42825220的博客
07-25 574
Batch Normalization Feature Scaling/Feature Normalization/Feature Standardization 如果斜率差别大，那么不同方向上需要不同的learning rate，经过feature normalization后，error surface接近正圆形，使得训练更容易 计算过程： 在神经网...
李宏毅教授Capsule课程笔记总结
weixin_42825220的博客
07-25 533
Capsule 取代neuron neuron输出一个值，capsule输出一个向量 neuron只能检测某一特定的模式，capsule可以检测一类模式 其中向量v的每一维代表模式的一个特性 Squash相当于进行挤压，只会改变长度而不会改变方向 c1 和c2 不是学出来的，而是由测试阶段决定的 有点像排除离群点 训练的时候还是需要后向传播 NN是用...
李宏毅svm_李宏毅-深度学习
weixin_33673142的博客
01-03 1168
作者简介:李宏毅是台湾大学教授，主要研究领域为机器学习(特别是深度学习)、口语语义理解和语音识别。2017年，其录制的深度学习课程深受大家的追捧。李宏毅的课程，内容丰富，理论公式推导详细。尤其配套的ppt，生动形象，毫不夸张的说，它是我见过的深度学习最系统的课程了。课程内容:前期主讲：深度学习的基本框架、模型，包括DNN、RNN/LSTM等，期间还穿插theano的模型实现(当然现在比较流行的是T...
重磅！李宏毅教授机器学习训练营
小詹学python的博客
07-05 552
一、课程介绍本课程以台湾大学李宏毅教授的《机器学习》课程为基础，内容涉及到回归、分类、BP反向传播、梯度下降、神经网络、迁移学习、强化学习等。每周有配套的视频、课件和作业...
台湾大学 李宏毅教授的个人主页
热门推荐
森的博客
10-05 4万+
Mark一下李宏毅教授的个人主页，里面有相关知识点的视频、PPT。 个人主页 相关知识点PPT和视频 机器学习博大精深，还是要继续努力。
李宏毅学习笔记——2024春《GENERATIVE AI》篇（已完结）
a131529的博客
11-22 7921
李宏毅学习笔记——2024春《GENERATIVE AI》篇
台大李宏毅教授最新课程，深度强化学习国语版
xuantaiyang888的博客
06-29 1853
李宏毅的youtube主页：https://www.youtube.com/channel/UC2ggjtuuWvxrHHHiaDH1dlQ/videos此外，李老师在youtube还有《机器学习》和《深度学习》两门课程的视频讲解，这两门课程也获得了不错的口碑，课程链接如下：机器学习youtube链接：https://www.youtube.com/watch?v=CXgbekl66jc&...
台湾李宏毅教授深度学习--随机梯度下降
u012841667的专栏
11-13 2173
1、随机梯度下降 2、 3、 4、局部最优
卷积神经网络的笔记及自己的理解（主要基于李宏毅老师的CNN课程）
m0_37754282的博客
06-04 439
SDU软件学院的一枚大三学生，最近课程有好多要上台做pre，也有好多搞不懂的大作业什么的，决定用优快云来记录一下。之前做实验都是水过去hhh快要毕业了还是希望有学会一些东西吧。 正文： 忘记是哪里看到的比喻了，感觉很不错：⬇️ “从卷积网络谈起，卷积网络在形式上有一点点像咱们正在召开的“人民代表大会制度”。卷积核的个数相当于候选人，图像中不同的特征会激活不同的“候选人”（卷积核）。 池化层（仅...
李宏毅教授深度学习GAN课程资源分享
李宏毅教授是台湾大学的知名学者，专注于深度学习领域的研究，在人工智能特别是生成式对抗网络（GAN）的研究上有着显著的贡献。生成式对抗网络（GAN）是由Ian Goodfellow在2014年提出的一种深度学习模型，由两部分...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值