【笔记2-1】李宏毅深度强化学习笔记（一）Outline

最新推荐文章于 2025-04-16 09:00:00 发布
最新推荐文章于 2025-04-16 09:00:00 发布
阅读量1.5w 收藏 165
点赞数 18
CC 4.0 BY-SA版权
分类专栏： 笔记 李宏毅深度强化学习笔记 文章标签： 强化学习 李宏毅 policy gradient actor-critic reinforcement learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cindy_1102/article/details/87904928
这篇笔记是对李宏毅深度强化学习课程的概述，包括Policy-based、Value-based和Actor-Critic方法。课程适合初学者，通过生动的实例解释强化学习概念。笔记提到了Alpha GO、聊天机器人和游戏等应用，并指出深度学习的特点在于推迟的回报和行动对后续数据的影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

李宏毅深度强化学习- Outline

李宏毅深度强化学习课程 https://www.bilibili.com/video/av24724071

李宏毅深度强化学习笔记（二）Proximal Policy Optimization (PPO)
李宏毅深度强化学习笔记（三）Q-Learning
李宏毅深度强化学习笔记（四）Actor-Critic
李宏毅深度强化学习笔记（五）Sparse Reward
李宏毅深度强化学习笔记（六）Imitation Learning
李宏毅深度强化学习课件

李宏毅深度强化学习课程评价：

个人觉得，李宏毅教授的这门课可以说是强化学习的入门课程，对于初学者来说比较友好，老师上课举的例子很形象，很有趣，对于理解相关的概念知识非常有帮助。

课程以讲述理论知识为主，关于强化学习方面的实际应用以及代码实现较少，可以考虑完成该课程布置的作业，以加深

最低0.47元/天 解锁文章

200万优质内容无限畅学
李宏毅《Deep Learning》学习笔记 - 强化学习
好记性不如烂笔头
07-12 1086
强化学习 学习资料：PPT, Video 1. Policy-based Approach 1.1 使用NN作为Actor 1.2 设计损失函数 在开始设计RL的损失函数之前，我们先来回归一下监督学习中的损失函数。 RL中常用的损失函数是total reward的期望值，另外，即便同一个actor在玩游戏，产生的序列也是不一样的，原因是由于游戏中的随机性。 产生的不同序列的概率，计算方式如上。其中，只有与θ\thetaθ相关的，才受actor影响。 reward的期望值，可以用N次游戏的rewa
二刷（李宏毅深度学习，醍醐灌顶，长刷长爽）
最新发布
2301_80670411的博客
07-08 1359
摘要：深度学习通过构建复杂函数模型解决回归、分类等任务。其核心是通过初始函数设定（如y=wx+b）、损失函数评估误差、梯度下降优化参数来拟合目标函数。非线性问题需引入激活函数（如ReLU、Sigmoid）叠加逼近真实关系。网络结构包含横向神经元处理多变量输入和纵向深层网络提高拟合能力，采用小批量梯度下降加速训练。最终通过参数优化实现函数逼近，但需防止过拟合。
李宏毅深度强化学习笔记
weixin_46156798的博客
08-31 1082
文章目录增强学习（RL）的一些基本概念：RL的基本组成：三者相互作用的过程：Policy：轨迹的概率：Expected Reward：Policy gradient:On-policy→\rightarrow→Off-policyImportance Sampling：PPO:注： 增强学习（RL）的一些基本概念： RL的基本组成： 1-actor：即操纵/需要学习的对象，如飞机大战里的飞机 2-environment：外部环境，如飞机大战里除了飞机以外的所有东西，他们均为游戏内部设定 3-reward：回
【李宏毅深度强化学习笔记】—1、策略梯度方法（Policy Gradient）
qq_43703185的博客
06-30 901
1、介绍了actor、environment、reward function2、在深度强化学习中，policy可以看成是参数为的网络，输入state，输出采取各种action的概率3、一轮游戏叫做episode4、trajectory={s1,a1,s2,a2,……}，在给定policy的参数的情况下，可以计算每一个存在的概率。5、总的expected reward=6、使用policy gradient ascend求 expected reward的最大值。
李宏毅强化学习笔记【2.Qlearning】
*晴儿*的博客
01-23 492
Qlearning value-based 学习critic：并不直接采取行为，只评价现在的行为有多好/不好。假设现在actor叫π，看到state s，累计reweard的期望有多大。 第一个游戏图，未来可能会获得很多分数。第二个，可能分数很少（怪少，防护罩消失）。 critic：给出state，给定π，才能算得多少分。不是单独评价state的好坏。 怎么预测 Monte-C...
【笔记2-3】李宏毅深度强化学习笔记（三）Q-Learning
cindy_1102的博客
03-18 1万+
李宏毅深度强化学习- Q-LearningIntroduction of Q-LearningBasic ideasQ-Learning:Tips of Q-LearningQ-Learning for Continuous Actions 李宏毅深度强化学习课程 https://www.bilibili.com/video/av24724071 Introduction of Q-Learn...
【笔记2-4】李宏毅深度强化学习笔记（四）Actor-Critic
cindy_1102的博客
02-27 8400
李宏毅深度强化学习- Actor-CriticAsynchronous Advantage Actor-Critic (A3C)Review – Policy GradientReview – Q-LearningActor-CriticPathwise Derivative Policy Gradient 李宏毅深度强化学习课程 https://www.bilibili.com/video/a...
【笔记2-2】李宏毅深度强化学习笔记（二）Proximal Policy Optimization (PPO)
热门推荐
cindy_1102的博客
02-24 3万+
李宏毅强化学习- Proximal Policy OptimizationPolicy GradientTerms and basic ideasPolicy Gradient:From on-policy to off-policy ——Using the experience more than onceTerms and basic ideasPPO algorithm: Policy Gr...
【笔记2-5】李宏毅深度强化学习笔记（五）Sparse Reward
cindy_1102的博客
02-27 4757
李宏毅深度强化学习- Sparse RewardReward ShapingCurriculum LearningHierarchical Reinforcement Learning 李宏毅深度强化学习课程 https://www.bilibili.com/video/av24724071 笔记更新中： 李宏毅深度强化学习笔记（一）Outline 李宏毅深度强化学习笔记（二）Proximal...
Reinforcement Learning强化学习--李宏毅机器学习笔记
knofrab的博客
04-16 1229
强化学习（Reinforcement Learning）：你不知道输出的“最佳答案”，只能通过与环境互动、收集奖励（Reward）来学习策略。
李宏毅深度强化学习笔记（一）
weixin_39395368的博客
02-04 333
李宏毅深度强化学习笔记（一） Proximal Policy Optimization(PPO) policy gradient从on policy到off policy，再加一些约束就是PPO review policy gradient: 基础元素：Actor、 Enverimrnt、 Reward（后两个不知自己能控制的，能改变的只有Actor） poliyc π\piπ是一个参数为θ\thetaθ的网络，输入为所观察到的环境的状态，由一个矩阵或者向量表达，输出是所有行为的概率。 an episode
李宏毅强化学习完整笔记！开源项目《LeeDeepRL-Notes》发布
龙哥盟
11-22 3万+
Datawhale开源 核心贡献者：王琦、杨逸远、江季 提起李宏毅老师，熟悉强化学习的读者朋友一定不会陌生。很多人选择的强化学习入门学习材料都是李宏毅老师的台大公开课视频。 现在，强化学习爱好者有更完善的学习资料了！ Datawhale开源项目组成员总结了李宏毅的强化学习视频，实现了视频教程的完整梳理和复现，再也不用担心强化学习。 目前，项目已完全开源，包括课程内容、配套的习题和项目，供大家使用。 1. 李宏毅深度强化学习简介 李宏毅老师现任台湾大学电气工程系副教授，主要研究方向是机器学习，特别是深度学习
李宏毅强化学习课程教学笔记--Policy gradient
weixin_42421591的博客
08-11 474
强化学习：policy gradient （PG）算法的原理简讲与弊端
强化学习学习笔记-李宏毅
weixin_44994838的博客
05-22 859
ref https://www.youtube.com/watch?v=OAKAZhFmYoI&ab_channel=Hung-yiLee
李宏毅强化学习笔记【5.Imitation Learning】
*晴儿*的博客
01-28 569
如果没有reward，怎么办 和环境互动，但不能得到reward，只能看着expert的demonstration学习。 判断开车撞人扣多少分很难，收集人开车的例子，人对话的例子是比较简单的。 不知道怎么定reward，但可以收集范例。 1.Behavior Cloning expert做什么，机器就做什么一样的事情。 收集expert的state和action，然后学习一个ne...
李宏毅深度强化学习入门笔记：PPO
暗o星
12-17 1055
πθτpθ​pθ′​。
【李宏毅-强化学习笔记】p7、Sparse reward
weixin_43522964的博客
02-13 484
首先sparse reward是什么意思呢？有很多情况下，我们做很多事是没有reward的，例如考研，我们每天看书、做习题然后不断的重复都没有奖励值，但是一旦考上了，就会有丰厚的奖励，这样总体来看，我们获得的奖励类似于： 　　　　　　　　　　　　　　　　　0,0,0，…0,0,100 这就称为稀疏奖励。 一、reward shaping（塑造） 想法就是：认为的设置一些reward来引导agent...
【李宏毅深度强化学习笔记】3、Q-learning（Basic Idea）
ACL_lihan的博客
01-20 1万+
【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient） 【李宏毅深度强化学习笔记】2、Proximal Policy Optimization (PPO) 算法 【李宏毅深度强化学习笔记】3、Q-learning（Basic Idea）（本文） 【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法 【李宏毅深度强化学习笔记】5、Q-learning用于连续动...
李宏毅深度强化学习笔记（八）Imitation Learning
我的博客
07-23 1010
参考jessie_weiqing博客：https://blog.youkuaiyun.com/cindy_1102/article/details/88051963 李宏毅深度强化学习课程 https://www.bilibili.com/video/av24724071 李宏毅深度强化学习笔记（八）Imitation Learning 为什么要模仿学习 Imitation Learning (也称为 l...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值