李宏毅教授强化学习sparse reward课程笔记总结

最新推荐文章于 2025-07-15 17:15:57 发布
原创 最新推荐文章于 2025-07-15 17:15:57 发布 · 635 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#强化学习 #笔记总结

探讨强化学习中稀疏奖励问题，提出奖励塑形、好奇心驱动、课程学习及层级强化学习等策略，旨在解决agent训练难题，提升学习效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Sparse Reward

在实际生活中，reward通常都非常稀疏，只对某一特定行为有reward，而其余的exploration均为0，因此agent往往难以训练

 

Reward Shaping(参考莫烦)

区别于真实环境中的reward，设计一些reward来引导agent

 

引入curiosity

最原始的形式：估计和实际的相差越大则reward越大(Network1需要另外训练)->鼓励冒险

但无法预测的状态并不一定是好的

利用Feature Ext将无用的信息过滤，令agent知道什么是真正重要的

*Network2的输入是∅(st) 和∅(st+1) ，并预测at ，再将其与真正的at 进行比较，希望其越接近越好

 

Curriculum Learning规划学习：从易到难

Reverse Curriculum Generation：从最终目标开始采样相近的目标，筛去离最终目标reward太大或太小的目标，接着以这些目标为中心开始下一轮采样

 

Hierarchical Reinforcement Learning：多个agent，其中一些agent用于定目标，另一些agent用于实现

上次agent的输入是上一级的愿景，输出是下一级应该怎么做

如果下层agent做不到上一层的愿景，那么上层会得到惩罚

假设下层agent完成了另一个目标，那么就将上层愿景调整为该目标

【笔记2-6】李宏毅深度强化学习笔记（六）Imitation Learning
cindy_1102的博客
03-01 3709
李宏毅深度强化学习- Imitation LearningWhy Imitation LearningBehaviour CloningInverse Reinforcement Learning (IRL) 李宏毅深度强化学习课程 https://www.bilibili.com/video/av24724071 李宏毅深度强化学习笔记（一）Outline 李宏毅深度强化学习笔记（二）Pro...
沈华伟老师强化学习课程笔记总结
weixin_42825220的博客
07-27 428
强化学习：学习从环境状态到行为的映射，使得智能体选择的行为能够获得环境最大的奖赏，使得外部环境对学习系统在某种意义下的评价为最佳。 强化学习是一种计算方法，若只有从交互中学习的想法只能称为强化学习思想，而并不能称之为强化学习。 监督学习是从标注中学习，侧重于泛化性能，区别于监督学习，强化学习是从交互中学习。 监督学习：标注数据，用户给的反馈->预测函数 无监督学习：无标签，无反...
【Reinforcement Learning】强化学习基础概述
最新发布
长相忆兮长相忆的专栏
07-15 1131
Reinforcement Learning是机器学习的重要分支，其核心在于‌智能体（Agent）通过与环境的动态交互学习最优决策策略‌，以最大化长期累积奖励。
李宏毅机器学习hw1~4作业 强化点
weixin_45543995的博客
10-05 1618
李宏毅机器学习hw1~4作业 强化点总结
强化学习 reward 曲线的绘制
thompson的博客
05-21 1万+
每隔一段取一个均值，然后把均值曲线绘制出来，包含全部点的曲线淡化处理 摘自 Z. Mou, Y. Zhang, F. Gao, H. Wang, T. Zhang and Z. Han, “Deep Reinforcement Learning based Three-Dimensional Area Coverage with UAV Swarm,” in IEEE Journal on Selected Areas in Communications, doi: 10.1109/JSAC.2021.3.
强化学习画reward曲线图（不带阴影）
qq_43619847的博客
10-05 3457
强化学习画reward曲线图
【笔记2-5】李宏毅深度强化学习笔记（五）Sparse Reward
cindy_1102的博客
02-27 4757
李宏毅深度强化学习- Sparse RewardReward ShapingCurriculum LearningHierarchical Reinforcement Learning 李宏毅深度强化学习课程 https://www.bilibili.com/video/av24724071 笔记更新中： 李宏毅深度强化学习笔记（一）Outline 李宏毅深度强化学习笔记（二）Proximal...
【李宏毅深度强化学习笔记】7、Sparse Reward
ACL_lihan的博客
01-29 3313
【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient） 【李宏毅深度强化学习笔记】2、Proximal Policy Optimization (PPO) 算法 【李宏毅深度强化学习笔记】3、Q-learning（Basic Idea） 【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法 【李宏毅深度强化学习笔记】5、Q-learning用于连续动作 (N...
【李宏毅-强化学习笔记】p7、Sparse reward
weixin_43522964的博客
02-13 486
首先sparse reward是什么意思呢？有很多情况下，我们做很多事是没有reward的，例如考研，我们每天看书、做习题然后不断的重复都没有奖励值，但是一旦考上了，就会有丰厚的奖励，这样总体来看，我们获得的奖励类似于： 　　　　　　　　　　　　　　　　　0,0,0，…0,0,100 这就称为稀疏奖励。 一、reward shaping（塑造） 想法就是：认为的设置一些reward来引导agent...
【笔记2-1】李宏毅深度强化学习笔记（一）Outline
cindy_1102的博客
02-24 1万+
李宏毅强化学习-1 IntroductionReinforcement learning:Examples:Properties of RL:RL ApproachPolicy-based approach -- learn an actorValue-based approach -- learn a criticActor-Critic Reinforcement learning: What...
【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient）
ACL_lihan的博客
01-17 2万+
【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient）（本文） 【李宏毅深度强化学习笔记】2、Proximal Policy Optimization (PPO) 算法 【李宏毅深度强化学习笔记】3、Q-learning（Basic Idea） 【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法 【李宏毅深度强化学习笔记】5、Q-learning用于...
我的强化学习模型不收敛这件事！
Oner.wv的专栏
05-20 965
Datawhale学习作者：李rumor，方向：强化学习开源地址：https://github.com/datawhalechina/easy-rl我的强化学习模型摆烂了????
强化学习模型不收敛的改进方向
april_cui的博客
08-12 4375
RL模型不收敛的原因
强化学习笔记---强化学习基本概念
qq_52200582的博客
03-09 7809
王树森强化学习笔记
简要介绍 | 强化学习：从原理到应用
NLOS的博客
06-17 1万+
它的核心思想是让智能体 (Agent) 在执行动作 (Action)、观察环境 (Environment) 反馈的状态 (State) 和奖励 (Reward) 的过程中，学习到一个最优策略 (Optimal Policy)，从而实现长期累积奖励最大化。深度强化学习通过结合深度学习 (Deep Learning) 和强化学习，利用神经网络 (Neural Network) 作为函数逼近器 (Function Approximator)，可以处理具有复杂状态空间的问题。值迭代通过迭代更新价值函数。
强化学习（Q-learning）
热门推荐
dzcera的博客
01-22 3万+
强化学习RF简介 强化学习是机器学习中的一种重要类型，一个其中特工通过 执行操作并查看查询查询结果来学习如何在环境中表现行为。 机器学习算法可以分为3种：有监督学习（Supervised Learning）、无监督学习（Unsupervised Learning）和强化学习（Reinforcement Learning），如下图所示： 有监督学习、无监督学习、强化学习具有不同的特点： 有监督学习是有一个label（标记）的，这个label告诉算法什么样的输入对应着什么样的输出，常见的算法是分类、回归等；
什么是强化学习？
学习与分享人工智能技术
11-22 6875
本文详细介绍了强化学习的概念、主要构成部分、流程以及常见的强化学习算法。
一文了解强化学习
qunnie_yi的博客
06-12 7010
作者：不会停的蜗牛 优快云 AI专栏作家 强化学习非常重要，原因不只在于它可以用来玩游戏，更在于其在制造业、库存、电商、广告、推荐、金融、医疗等与我们生活息息相关的领域也有很好的应用。本文结构： 定义 和监督式学习, 非监督式学习的区别 主要算法和类别 应用举例 1. 定义强化学习是机器学习的一个重要分支，是多学科多领域交叉的一个产物，它的本质是解决 decision making 问题，...
强化学习 (Reinforcement Learning)
Mr_Meng__NLP的博客
12-18 6225
强化学习： 强化学习是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。其灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值