李宏毅教授强化学习sparse reward课程笔记总结

最新推荐文章于 2025-07-02 10:43:13 发布
最新推荐文章于 2025-07-02 10:43:13 发布
阅读量632 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 强化学习笔记 文章标签： 强化学习 笔记总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42825220/article/details/97491605
探讨强化学习中稀疏奖励问题，提出奖励塑形、好奇心驱动、课程学习及层级强化学习等策略，旨在解决agent训练难题，提升学习效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Sparse Reward

在实际生活中，reward通常都非常稀疏，只对某一特定行为有reward，而其余的exploration均为0，因此agent往往难以训练

 

Reward Shaping(参考莫烦)

区别于真实环境中的reward，设计一些reward来引导agent

 

引入curiosity

最原始的形式：估计和实际的相差越大则reward越大(Network1需要另外训练)->鼓励冒险

但无法预测的状态并不一定是好的

利用Feature Ext将无用的信息过滤，令agent知道什么是真正重要的

*Network2的输入是∅(st) 和∅(st+1) ，并预测at ，再将其与真正的at 进行比较，希望其越接近越好

 

Curriculum Learning规划学习：从易到难

Reverse Curriculum Generation：从最终目标开始采样相近的目标，筛去离最终目标reward太大或太小的目标，接着以这些目标为中心开始下一轮采样

 

Hierarchical Reinforcement Learning：多个agent，其中一些agent用于定目标，另一些agent用于实现

上次agent的输入是上一级的愿景，输出是下一级应该怎么做

如果下层agent做不到上一层的愿景，那么上层会得到惩罚

假设下层agent完成了另一个目标，那么就将上层愿景调整为该目标

【笔记2-6】李宏毅深度强化学习笔记（六）Imitation Learning
cindy_1102的博客
03-01 3705
李宏毅深度强化学习- Imitation LearningWhy Imitation LearningBehaviour CloningInverse Reinforcement Learning (IRL) 李宏毅深度强化学习课程 https://www.bilibili.com/video/av24724071 李宏毅深度强化学习笔记（一）Outline 李宏毅深度强化学习笔记（二）Pro...
沈华伟老师强化学习课程笔记总结
weixin_42825220的博客
07-27 426
强化学习：学习从环境状态到行为的映射，使得智能体选择的行为能够获得环境最大的奖赏，使得外部环境对学习系统在某种意义下的评价为最佳。 强化学习是一种计算方法，若只有从交互中学习的想法只能称为强化学习思想，而并不能称之为强化学习。 监督学习是从标注中学习，侧重于泛化性能，区别于监督学习，强化学习是从交互中学习。 监督学习：标注数据，用户给的反馈->预测函数 无监督学习：无标签，无反...
什么是强化学习？（说人话版），看这一篇就够了！.
最新发布
Z987421的博客
07-02 1361
在人工智能领域，也有一类算法就是模仿这个学习过程，它叫做——强化学习（Reinforcement Learning）。
李宏毅机器学习hw1~4作业 强化点
weixin_45543995的博客
10-05 1603
李宏毅机器学习hw1~4作业 强化点总结
强化学习 reward 曲线的绘制
thompson的博客
05-21 1万+
每隔一段取一个均值，然后把均值曲线绘制出来，包含全部点的曲线淡化处理 摘自 Z. Mou, Y. Zhang, F. Gao, H. Wang, T. Zhang and Z. Han, “Deep Reinforcement Learning based Three-Dimensional Area Coverage with UAV Swarm,” in IEEE Journal on Selected Areas in Communications, doi: 10.1109/JSAC.2021.3.
强化学习画reward曲线图（不带阴影）
qq_43619847的博客
10-05 3438
强化学习画reward曲线图
【笔记2-5】李宏毅深度强化学习笔记（五）Sparse Reward
cindy_1102的博客
02-27 4757
李宏毅深度强化学习- Sparse RewardReward ShapingCurriculum LearningHierarchical Reinforcement Learning 李宏毅深度强化学习课程 https://www.bilibili.com/video/av24724071 笔记更新中： 李宏毅深度强化学习笔记（一）Outline 李宏毅深度强化学习笔记（二）Proximal...
【李宏毅深度强化学习笔记】7、Sparse Reward
ACL_lihan的博客
01-29 3311
【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient） 【李宏毅深度强化学习笔记】2、Proximal Policy Optimization (PPO) 算法 【李宏毅深度强化学习笔记】3、Q-learning（Basic Idea） 【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法 【李宏毅深度强化学习笔记】5、Q-learning用于连续动作 (N...
【李宏毅-强化学习笔记】p7、Sparse reward
weixin_43522964的博客
02-13 484
首先sparse reward是什么意思呢？有很多情况下，我们做很多事是没有reward的，例如考研，我们每天看书、做习题然后不断的重复都没有奖励值，但是一旦考上了，就会有丰厚的奖励，这样总体来看，我们获得的奖励类似于： 　　　　　　　　　　　　　　　　　0,0,0，…0,0,100 这就称为稀疏奖励。 一、reward shaping（塑造） 想法就是：认为的设置一些reward来引导agent...
【笔记2-1】李宏毅深度强化学习笔记（一）Outline
cindy_1102的博客
02-24 1万+
李宏毅强化学习-1 IntroductionReinforcement learning:Examples:Properties of RL:RL ApproachPolicy-based approach -- learn an actorValue-based approach -- learn a criticActor-Critic Reinforcement learning: What...
【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient）
ACL_lihan的博客
01-17 2万+
【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient）（本文） 【李宏毅深度强化学习笔记】2、Proximal Policy Optimization (PPO) 算法 【李宏毅深度强化学习笔记】3、Q-learning（Basic Idea） 【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法 【李宏毅深度强化学习笔记】5、Q-learning用于...
我的强化学习模型不收敛这件事！
Oner.wv的专栏
05-20 963
Datawhale学习作者：李rumor，方向：强化学习开源地址：https://github.com/datawhalechina/easy-rl我的强化学习模型摆烂了????
强化学习模型不收敛的改进方向
april_cui的博客
08-12 4309
RL模型不收敛的原因
强化学习实验绘图（使用seaborn）
qq_47997583的博客
04-08 1万+
seaborn可以说是matplotlib的升级版，使用seaborn绘制折线图时参数数据可以传递ndarray或者pandas。
【ZJU-Machine Learning】强化学习
SuperSources的博客
02-01 764
强化学习与监督学习的区别： （1）训练数据中没有标签，只有奖励函数（Reward Function）。 （2）训练数据不是现成给定，而是由行为（Action）获得。 （3）现在的行为（Action）不仅影响后续训练数据的获得，也影响奖励函数（Reward Function）的取值。 （4）训练的目的是构建一个“状态->行为”的函数，其中状态（State）描述了目前内部和外部的环境，在此情况下，要使一个智能体（Agent）在某个特定的状态下，通过这个函数，决定此时应该采取的行为。希望采取这些行为后，最终
如何判断强化学习算法是否收敛
rl小透明
03-31 1万+
如何判断强化学习算法是否收敛 1. 策略熵 对于随机性策略（PPO等）可以用策略熵来表示策略是否“确定”。在训练过程中随着策略提升，策略变得越来越确定，此时熵应该是随着逐渐降低的，熵曲线趋于平缓。 2. loss指标（网络收敛好坏） 这是DL中的直观指标，虽然不能直接用在DRL来说明策略好坏，但loss是在一直下降还是已经趋于平缓了，可以一定程度上说明网络模型的学习程度，看模型是“学会了”还是“学废了”，趋于平缓可能就是已经训练差不多了，当然“训练差不多”不代表“策略最优”，有些可能loss还在掉，但
强化学习的规划：如何设计合适的奖励函数
AI天才研究院
01-08 3306
1.背景介绍 强化学习(Reinforcement Learning, RL)是一种人工智能技术，它旨在让智能体(agent)在环境(environment)中学习如何做出最佳决策，以最大化累积收益。在强化学习中，奖励函数(reward function)是指智能体在环境中执行行动时收到的反馈信号，它直接影响了智能体的学习过程。设计合适的奖励函数对于强化学习的成功至关重要。 在本文中，我们将讨...
深度强化学习系列: “奖励函数”的设计和设置（reward shaping）
热门推荐
深度强化学习(DeepRL)探索博客
06-25 6万+
概述 前面已经讲了好几篇关于强化学习的概述、算法(DPG->DDPG),也包括对环境OpenAI gym的安装，baseline算法的运行和填坑，虽然讲了这么多，算法也能够正常运行还取得不错的效果，但是一直以来忽略了一个非常重要的话题，那就是强化学习的《奖励函数》的设置。 1、 Gym-Pendulum-v0例子分析奖励函数 为什么要讲强化学习的概述呢？也许在我们以前运行的算法中我们并...
如何判断强化学习训练是否在收敛？
努力学习的！
12-04 4738
参考链接： 1、信息熵 – 针对于策略问题 如果信息熵逐渐降低，表明策略越来越确定，趋于平缓 2、loss指标 – 评价网络收敛的好坏 虽然不能直观的说明策略的好坏，但是loss可以看出网络模型的学习程度。 趋于平缓，训练的差不多了，不代表策略最优 3、reward reward大多数是对于状态之间转移的即时奖励，和整个决策规划的好坏不能直接等价。 在训练过程中，DRL策略在一个episode下的平均奖赏没有明显变化时，可以视为DRL训练近似收敛。 dense reward：也可以换成使用平均rewar
李宏毅教授深度学习GAN课程资源分享
李宏毅教授是台湾大学的知名学者，专注于深度学习领域的研究，在人工智能特别是生成式对抗网络（GAN）的研究上有着显著的贡献。生成式对抗网络（GAN）是由Ian Goodfellow在2014年提出的一种深度学习模型，由两部分...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值