【笔记2-6】李宏毅深度强化学习笔记（六）Imitation Learning

最新推荐文章于 2025-07-05 15:51:39 发布
最新推荐文章于 2025-07-05 15:51:39 发布
阅读量3.7k 收藏 18
点赞数 5
CC 4.0 BY-SA版权
分类专栏： 笔记 李宏毅深度强化学习笔记 文章标签： reinforce learning 强化学习 李宏毅 imitation learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cindy_1102/article/details/88051963
本文探讨了在强化学习中模仿学习（Imitation Learning）的重要性，特别是在无法明确获得奖励或定义复杂奖励函数的任务中。介绍了行为克隆作为监督学习的方法，存在训练与测试数据分布不一致的问题，进而引出逆强化学习（Inverse Reinforcement Learning, IRL），通过专家轨迹学习奖励函数，以训练更优的策略。模仿学习过程与GAN有类似之处，其中actor类似于生成器，reward function类似于判别器。" 133431848,20015923,MySQL性能优化：索引与查询策略,"['mysql', '性能优化', '数据库']

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

李宏毅深度强化学习- Imitation Learning

李宏毅深度强化学习课程 https://www.bilibili.com/video/av24724071

李宏毅深度强化学习笔记（一）Outline
李宏毅深度强化学习笔记（二）Proximal Policy Optimization (PPO)
李宏毅深度强化学习笔记（三）Q-Learning
李宏毅深度强化学习笔记（四）Actor-Critic
李宏毅深度强化学习笔记（五）Sparse Reward
李宏毅深度强化学习课件

为什么要模仿学习 Imitation Learning

(也称为 learning by demonstration, apprenticeship learning)
在某些情况下:

  1. 机器也可以和环境进行互动，但是不能明显的得到reward
  2. 在某些任务中很难定义reward
  3. 人为涉及的奖励可能会得到不受控制的行为

因此需要 imitation learning: 让一个专家来示范应该如何解决问题，而机器则试着去模仿专家

行为克隆

这个方法可以看做是一个监督学习，在这个方法中，actor需要学习在某些特定的state下尽可能像专家一样行动

然而，专家只能进行有限的采样，因此需要引入Dataset Aggregation（让专家处于机器所处的state中）

最低0.47元/天 解锁文章

200万优质内容无限畅学
李宏毅《Deep Learning》学习笔记 - 强化学习
好记性不如烂笔头
07-12 1086
强化学习 学习资料：PPT, Video 1. Policy-based Approach 1.1 使用NN作为Actor 1.2 设计损失函数 在开始设计RL的损失函数之前，我们先来回归一下监督学习中的损失函数。 RL中常用的损失函数是total reward的期望值，另外，即便同一个actor在玩游戏，产生的序列也是不一样的，原因是由于游戏中的随机性。 产生的不同序列的概率，计算方式如上。其中，只有与θ\thetaθ相关的，才受actor影响。 reward的期望值，可以用N次游戏的rewa
【笔记2-3】李宏毅深度强化学习笔记（三）Q-Learning
cindy_1102的博客
03-18 1万+
李宏毅深度强化学习- Q-LearningIntroduction of Q-LearningBasic ideasQ-Learning:Tips of Q-LearningQ-Learning for Continuous Actions 李宏毅深度强化学习课程 https://www.bilibili.com/video/av24724071 Introduction of Q-Learn...
李宏毅强化学习完整笔记！开源项目《LeeDeepRL-Notes》发布
热门推荐
龙哥盟
11-22 3万+
Datawhale开源 核心贡献者：王琦、杨逸远、江季 提起李宏毅老师，熟悉强化学习的读者朋友一定不会陌生。很多人选择的强化学习入门学习材料都是李宏毅老师的台大公开课视频。 现在，强化学习爱好者有更完善的学习资料了！ Datawhale开源项目组成员总结了李宏毅的强化学习视频，实现了视频教程的完整梳理和复现，再也不用担心强化学习。 目前，项目已完全开源，包括课程内容、配套的习题和项目，供大家使用。 1. 李宏毅深度强化学习简介 李宏毅老师现任台湾大学电气工程系副教授，主要研究方向是机器学习，特别是深度学习
模仿学习（Imitation Learning）
最新发布
MzKyle的博客
07-05 1010
模仿学习，又称“从演示中学习”（Learning from Demonstration）或“学徒学习”（Apprenticeship Learning），是机器学习领域的重要分支。其核心目标是让智能体通过观察人类或专家的演示行为，学会在复杂环境中做出类似的最优决策，而无需显式定义奖励函数或进行大量试错。
李宏毅强化学习笔记【5.Imitation Learning】
*晴儿*的博客
01-28 569
如果没有reward，怎么办 和环境互动，但不能得到reward，只能看着expert的demonstration学习。 判断开车撞人扣多少分很难，收集人开车的例子，人对话的例子是比较简单的。 不知道怎么定reward，但可以收集范例。 1.Behavior Cloning expert做什么，机器就做什么一样的事情。 收集expert的state和action，然后学习一个ne...
Reinforcement Learning强化学习--李宏毅机器学习笔记
knofrab的博客
04-16 1229
强化学习（Reinforcement Learning）：你不知道输出的“最佳答案”，只能通过与环境互动、收集奖励（Reward）来学习策略。
李宏毅深度强化学习入门笔记：强化学习简介
暗o星
12-06 875
通过演示学习（Learning by Demonstration)，也称为模仿学习（Imitation Learning）、或学徒学习（Apprenticeship Learning）将 Network 看成一个函数，用来学习典型的监督学习任务。Agent 的 action 受到接收的序列数据的影响。
【笔记2-4】李宏毅深度强化学习笔记（四）Actor-Critic
cindy_1102的博客
02-27 8399
李宏毅深度强化学习- Actor-CriticAsynchronous Advantage Actor-Critic (A3C)Review – Policy GradientReview – Q-LearningActor-CriticPathwise Derivative Policy Gradient 李宏毅深度强化学习课程 https://www.bilibili.com/video/a...
【笔记2-1】李宏毅深度强化学习笔记（一）Outline
cindy_1102的博客
02-24 1万+
李宏毅强化学习-1 IntroductionReinforcement learning:Examples:Properties of RL:RL ApproachPolicy-based approach -- learn an actorValue-based approach -- learn a criticActor-Critic Reinforcement learning: What...
李宏毅深度强化学习PPT（含机器学习课程对RL的简介）
11-01
李宏毅深度强化学习PPT（含机器学习课程对RL的简介）
李宏毅强化学习1
Moeyinss
05-08 362
Deep RL 概述 视频链接：p1-2020 最新课程 (完整版) 强化学习 ppt链接：http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html 什么是强化学习 解决智能体（agent）在与环境（environment）的交互过程中通过学习策略以达成回报（reward）最大化或实现特定目标的问题 Actor/Policy Action=π...
李宏毅深度学习ppt
12-24
台湾大学李宏毅教授的深度学习方面的一些课堂ppt资料，希望可以帮到你们
强化学习学习笔记-李宏毅
weixin_44994838的博客
05-22 858
ref https://www.youtube.com/watch?v=OAKAZhFmYoI&ab_channel=Hung-yiLee
李宏毅深度强化学习笔记
weixin_46156798的博客
08-31 1082
文章目录增强学习（RL）的一些基本概念：RL的基本组成：三者相互作用的过程：Policy：轨迹的概率：Expected Reward：Policy gradient:On-policy→\rightarrow→Off-policyImportance Sampling：PPO:注： 增强学习（RL）的一些基本概念： RL的基本组成： 1-actor：即操纵/需要学习的对象，如飞机大战里的飞机 2-environment：外部环境，如飞机大战里除了飞机以外的所有东西，他们均为游戏内部设定 3-reward：回
李宏毅强化学习笔记【2.Qlearning】
*晴儿*的博客
01-23 492
Qlearning value-based 学习critic：并不直接采取行为，只评价现在的行为有多好/不好。假设现在actor叫π，看到state s，累计reweard的期望有多大。 第一个游戏图，未来可能会获得很多分数。第二个，可能分数很少（怪少，防护罩消失）。 critic：给出state，给定π，才能算得多少分。不是单独评价state的好坏。 怎么预测 Monte-C...
李宏毅深度学习——强化学习
wkywcd的博客
09-10 1675
强化学习一、RL是什么二、RL的框架1、第一步：Function with unknown2、第二步：定义损失函数3、第三步：Optimization三、Policy gradient（1）如何控制你的actor（2）如何确定哪个行为是好的版本1（3）如何确定哪个行为是好的版本2（4）如何确定哪个行为是好的版本3（5）exploration四、Actor-Critic1、Gritic（1）如何估计value function（2）将critic用在Actor中2、Tip of Actor-Critic五、R
【李宏毅深度强化学习笔记】—1、策略梯度方法（Policy Gradient）
qq_43703185的博客
06-30 901
1、介绍了actor、environment、reward function2、在深度强化学习中，policy可以看成是参数为的网络，输入state，输出采取各种action的概率3、一轮游戏叫做episode4、trajectory={s1,a1,s2,a2,……}，在给定policy的参数的情况下，可以计算每一个存在的概率。5、总的expected reward=6、使用policy gradient ascend求 expected reward的最大值。
​李宏毅机器学习——强化学习Reinforcement Learning
iwill323的博客
10-31 3226
​李宏毅机器学习-- ​强化学习
李宏毅深度强化学习入门笔记：Actor-Critic
暗o星
12-02 829
RL分类：Policy-based、Value-basedmodel-based 需要对未来世界有一定理解，知道未来可能会发生什么事。
李宏毅深度强化学习：Q-Learning解析
"台湾李宏毅老师的深度强化学习PPT，涵盖了Q-Learning的基本概念、技巧以及连续动作的处理方法，对于理解强化学习中的评价函数（Critic）和策略（Actor）有很好的指导作用。" 在深度强化学习中，Q-Learning是一种...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值