Diffusion RL ：Synthetic Experience Replay

Diffusion模型用于RL训练效果优异
原创 已于 2024-12-03 11:04:51 修改 · 572 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #机器学习 #算法

于 2024-12-03 11:03:16 首次发布

NIPS 2023
paper
code
通过diffusion模型生成海量的合成数据用于RL策略以及价值函数训练，在离线以及在线设定下均表现优异，并且适用于pixel-based的RL设定，同时允许提高UTD进一步提升sample efficiency

Method

在这里插入图片描述
算法伪代码如下：
在这里插入图片描述
方法很简单，就是利用已有数据训练diffusions model生成数据，然后与原始数据混合采样。在线设定下的原始数据就是环境交互得到的真实数据，离线设定下则就是所提供的数据。

文章分析为何diffusion-based的生成模型对比VAE以及GAN的其他方法有效。原因是该方法生成的数据在保证更好的差异性同时，与真原始数据的MSE较低，也就是说明生成数据更符合环境动力学
在这里插入图片描述
海量数据的产生意味着，能够对基于TD3+BC的策略以及价值模型结构进行扩展，实现performance的提升，但是对于IQL以及EDAC提升不明显：
在这里插入图片描述

最低0.47元/天 解锁文章
loading stable diffusion model: FileNotFoundError解决方案
水滴的博客
01-17 4187
本文主要介绍在安装 stable-diffusion-webui 时出现的 loading stable diffusion model: FileNotFoundError 问题的解决方案，希望能对你有所帮助。
详细解读Latent Diffusion Models：原理和代码
热门推荐
沉迷单车的追风少年
08-21 1万+
CVPR 2022中的一项新工作latent diffusion models引起了广泛关注，提出了两段式diffusion models能有效节省计算资源，latent attention技术为通用image-to-image任务打下基础，让人耳目一新，具有极强的借鉴意义和启发性，值得深度阅读。...
【论文笔记·RL】DMBP: Diffusion Model-Based Predictor for Robust Offline Reinforcement Learning
lokol.的秘密基地
07-05 981
Offline RL是通过在离线数据集上进行训练并不与环境进行交互。而其在真实世界应用的挑战来源于对状态观测干扰的鲁棒性，如传感器错误或对抗性攻击。与Online RL方法不同，Agent不能在Offline setting下进行对抗训练。在本文中，提出了Diffusion-Based预测器，使用条件扩散模型用于恢复真实状态，用于基于状态的RL任务。为了缓解误差累积问题，本文提出了一个非马尔可夫训练目标用于最小化去噪后状态的熵。
Diffusion Model (扩散生成模型)的基本原理详解(三）Stochastic Differential Equation(SDE）
lvoutongyi的博客
02-24 6497
本篇是《Diffusion Model (扩散生成模型)的基本原理详解(二）Score-Based Generative Modeling(SGM)》的续写，继续介绍有关diffusion的另一个相关模型，同理，参考文献和详细内容与上一篇相同，读者可自行查阅，**本篇为Diffusion入门基础介绍的完结篇，本篇来着重介绍Stochastic Differential Equation(SDE)的部分。
基于扩散模型与PPO的轨迹生成强化学习系统
weixin_42001184的博客
04-01 1425
PPO是一种基于trust region约束的on-policy策略优化方法。其目标函数为：其中，( r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{\text{old}}}(a_t|s_t)} )，( \hat{A}_t )为GAE估计的优势函数。Rollout 是策略交互环境时生成的一段轨迹序列。
Policy Gradiant && Diffusion RL方法汇总
qq_41432489的博客
08-06 305
站在Actor-critic的框架中考虑，Policy Gradiant主要负责其中Actor的更新，优化过程所需的Advantage则由建模Value Function的Critic网络间接得到。
论文阅读--Diffusion Models for Reinforcement Learning: A Survey
hzlalb的博客
03-02 2695
接着介绍了扩散模型的基础知识和在强化学习中的应用方法。然后讨论了扩散模型在强化学习中的不同角色，并对其在多个应用领域的贡献进行了探讨。在强化学习中，扩散模型可以用作数据合成器，通过从学习到的数据分布中生成合成数据，从而提高策略学习的效率和效果。通过使用扩散模型，可以生成逼真的轨迹，从而改善离线RL中的策略限制。在强化学习中，扩散模型可以用作数据合成器，生成与环境动态一致的合成数据，从而提高策略训练的效果。：这部分讨论了扩散模型的基础知识，以及在RL相关应用中特别重要的两类方法：引导采样和快速采样。
【论文复现】DCFace: Synthetic Face Generation with Dual Condition Diffusion Model
weixin_57974242的博客
01-29 1190
DCFace: 用双条件扩散模型生成合成人脸。
【论文阅读】3D Diffusion Policy:Generalizable Visuomotor Policy Learning via Simple 3D Representations
qq_33673253的博客
09-27 2536
模仿学习为教机器人灵巧技能提供了一种有效的方法；然而，稳健而普遍地学习复杂技能通常需要大量的人类演示。为了解决这个具有挑战性的问题，我们提出了3d diffusion policy（dp3），这是一种新的视觉模仿学习方法，将3d视觉表示的力量融入到一类条件动作生成模型diffusion policies中。dp3的核心设计是利用紧凑的3d视觉表示，通过高效的点编码器从稀疏点云中提取。在我们涉及72个模拟任务的实验中，dp3仅需10次演示即可成功处理大多数任务，并以24.2%的相对改进超过了基线。
Diff4RLSurvey
whaosoft143ai的博客
03-09 495
Diffusion-QL 等方法在扩散模型训练时加上加权的价值函数项，而 CEP 从能量的视角构造加权回归目标，用价值函数作为因子，调整扩散模型学到的动作分布。通过检索与智能体当前状态相关的轨迹并输入到模型中，基于扩散的决策模型在这些状态下的性能同样可能得到提升。扩散模型的引导采样允许通过学习额外的分类器来不断加入新的安全约束，而原模型的参数保持不变，从而节省额外的训练开销。实际上，你的路径是一次性整体生成的。近期的研究表明，采用扩散模型的规划模块能够同时生成长序列的轨迹规划，这更加符合人类的决策模式。
Awesome Diffusion Model in RL 教程
gitblog_00811的博客
08-20 477
Awesome Diffusion Model in RL 是一个致力于探索强化学习与扩散模型结合边界的开源项目，由 OpenDILab 发起并维护。这个项目通过汇聚最新的研究成果和实用代码，展示了如何在复杂的强化学习环境中运用扩散模型的强大生成能力。它不仅是研究人员和开发者的一个宝贵资源库，也是一个持续更新的平台，促进了这一新兴交叉领域的发展。 ## 项目快速启动 为了快速启动并体验 Awe...
从噪声到动作：Diffusion Policy 如何改变机器人学习？
2302_79135989的博客
08-16 1016
摘要： Diffusion Policy提出了一种基于条件扩散模型的机器人动作生成方法，通过逐步去噪生成连贯的高维动作序列，解决了传统方法在多模态分布、动作时序一致性和训练稳定性上的瓶颈。该框架利用视觉观测作为条件输入，结合Transformer时序建模，在复杂任务中显著优于现有方法。实验表明，Diffusion Policy能高效学习多样化策略，并稳定生成长程动作序列，为机器人控制提供了新的技术路径。 关键词： Diffusion Policy、机器人学习、多模态动作生成、条件扩散模型、时序一致性
（NIPS-2024）PISSA：大型语言模型的主奇异值和奇异向量适配
顾道长生的科研笔记
12-26 1174
为了参数高效地微调（PEFT）大规模语言模型（LLMs），低秩适配（LoRA）方法通过两个矩阵的乘积来近似模型的变化ΔW∈Rm×nΔW∈Rm×n：即A∈Rm×rA∈Rm×r和B∈Rr×nB∈Rr×n，其中r≪min⁡mnr≪minmnAAA初始化为高斯噪声，BBB初始化为零。LoRA 冻结原始模型权重WWW，仅更新 “噪声和零” 适配器，这可能导致收敛速度较慢。
NeurIPS 2024 最佳论文揭晓！北大、字节跳动「VAR模型」获最佳论文！
u012744245的博客
12-10 3459
在符合直觉的同时，这样的自回归算法带来了很好的效果：VAR 显著提升了自回归模型的速度和生成质量，在多方面使得自回归模型首次超越扩散模型。与传统的按像素或token顺序生成图像的方法不同，VAR 模型通过从低到高分辨的多尺度 token 图进行自回归生成，每一尺度的token图都依赖于前一尺度的结果。此外，在对 80B 个通用 token 进行持续预训练时，RHO-1 在 15 个不同任务上实现了 6.8% 的平均提升，数据效率和语言模型预训练的性能都得到了提升。
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 275
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
三大空间信息焕新：辉视让酒店服务、教育通知、监所管控更智能高效
CalebLXL的博客
11-24 788
走访这些场所后我发现，系统的真正价值不在于那些炫目的屏幕，而在于它构建了一套"空间信息免疫系统"——就像人体淋巴网络般，能智能识别各区域的信息需求，精准输送"营养"，快速清除"毒素"。当我们在酒店大堂不再错过末班机场大巴，在学校走廊偶遇恰好需要的竞赛通知，甚至在高墙内获得规整的信息权时，或许该重新思考：所谓智能化，本质是对空间信息代谢效率的一次外科手术式改造。这种荒诞的割裂感，正是传统信息分发模式崩溃的缩影——直到我最近走访数家采用辉视系统的场所，才意识到我们早已进入"精准信息触达"的新纪元。
（116页PPT）关于5G和新基建赋能智慧工地整体解决方案（附下载方式）
2501_92808811的博客
11-25 548
在整体架构方面，方案以“5G智慧工地平台”为核心，依托多类感知设备（如传感器、摄像头、AI眼镜、智能安全帽等）采集数据，通过5G网络实时回传至云平台，再借助大数据、云计算、人工智能等技术进行分析处理，最终在PC、手机、监控大屏等多终端进行可视化展示。此外，文件还详细列举了传统智慧工地子系统（如深基坑监测、升降机监控、扬尘噪音监测、智能水电计量等）的功能与部署方式，并补充了如5G企业专网、实测机器人、智慧科技体验中心等延伸应用，体现出方案的系统性与前瞻性。详细资料请看本解读文章的最后内容。
信息检索13
最新发布
2301_80828873的博客
11-26 951
最近邻检索的方法，PQ，IVF,HNSW
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 726
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
loading stable diffusion model: runtimeerror
04-29
loading stable diffusion model: runtimeerror是指在运行稳定扩散模型时出现了运行时错误。这可能由多种因素引起，包括代码错误、计算机系统问题或数据源错误。要解决这个问题，我们可以进行以下步骤： 首先，检查代码是否正确。检查代码是否存在语法错误或逻辑错误。我们可以使用调试工具来逐步运行程序并确定其出错的位置。如果发现了错误，我们可以修改代码并重新运行程序。 其次，检查计算机系统问题。可能是由于计算机内存不足或计算机性能太低导致的运行时错误。我们可以尝试升级计算机硬件或优化程序以减少其内存占用和处理速度。 最后，检查数据源错误。可能是由于输入数据源的格式不正确或数据完整性不足导致的运行时错误。我们可以检查数据源格式是否正确并修复数据源的缺损部分。 综上所述，loading stable diffusion model: runtimeerror可能有多种原因，我们需要针对具体情况进行排查，并采取相应的解决措施。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值