m0_48948682的博客

虽然深度强化学习方法在机器人学习中表现出色，但它们的样本效率使得在真实机器人系统中学习复杂、长期的行为变得不可行。为了缓解这个问题，元强化学习方法旨在通过学习如何学习，使得在新任务上能够快速学习。目前元强化学习限制在短期行为、密集奖励函数的任务上。为了使学习长期行为变得可能，最近的研究探索了利用以离线数据集形式存在的先验知识，这些数据集没有奖励信息或任务注释。制作这样的离线数据集需要大量的实践交互。

元强化学习 PEARL 项目解读

整理于沙漏大佬的知乎博文，适合入门了解~~

本文详细描述了元强化学习问题的设置及其主要算法的变种。本文的分类方式：任务分布的表现形式、对每个任务能够学习到的内容。最后，作者为使元强化学习成为深度强化实践者的实用工具的发展方向上，提出了若干问题。

MAML RL 源代码解读 17

MAML RL 源代码解读 16

MAML RL 源代码解读 15

MAML RL 源代码解读 14

MAML RL 源代码解读 13

MAML RL 源代码解读 12

MAML RL 源代码解读 11

MAML RL 源代码解读 10

MAML RL 源代码解读 9

MAML RL 源代码解读 8

MAML RL 源代码解读 7

MAML RL 源代码解读 6

MAML RL 源代码解读 5

MAML RL 源代码解读 4

MAML RL 源代码解读 3

MAML RL 源代码解读 2

MAML-RL 源代码解读 1

该工作开发了元学习控制策略，以实现对不同变化条件的快速在线适应，从而产生多样化和鲁棒的运动。

本文提出的方法是将元强化学习的MAML算法与HER事后经验回放算法结合。HER算法提升智能体在稀疏奖励环境下的探索能力MAML元学习算法能够在新任务下通过快速调整参数，提升其在利用环境下能力HER + MAML 方法可以加速新任务下策略的微调（神经网络组成的策略梯度RL）；提升了成功率

基于上下文的元RL通过应用一个原则性的框架来提升数据的有效性，将训练过程分解成任务推断和任务执行。这种方法下任务信息不能被足够地利用，导致了不充分的探索。为了解决这个问题，我们提出了一个新的基于上下文的元RL框架，它具有改进的探索机制。针对现有的基于上下文的元RL中的探索和执行问题，我们提出了一个新的目标，即分别使用两个探索“术语”来鼓励在动作（空间）和任务嵌入空间中进行更好的探索。第一项推动提高任务推理的多样性；而第二项被称为动作信息，在不同的探索阶段起着共享或隐藏任务信息。