机器人操作——diffusion policy（2023）

最新推荐文章于 2025-08-06 21:09:14 发布
原创 最新推荐文章于 2025-08-06 21:09:14 发布 · 5.8k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器人 #深度学习 #人工智能

文章介绍了一种名为DiffusionPolicy的新方法，它使用扩散模型处理机器人操作任务，通过输入观测序列预测行为序列。相比LSTM-GMM、IBC和BET等传统模仿学习方法，DiffusionPolicy在多个实验中表现出46.9%的性能提升，并能接近人类水平。该模型利用CNN和Transformer架构，擅长处理多峰行动分布和高维连续行为输出，且训练过程更稳定。作者还引入闭环规划和Time-seriesdiffusiontransformer来增强模型性能。尽管可能难以与强化学习直接结合，但扩散模型在动力学建模上的潜力值得探索。

论文地址

标题：Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
论文地址：https://arxiv.org/pdf/2303.04137.pdf
项目地址：https://diffusion-policy.cs.columbia.edu
单位：哥伦比亚大学

创新点

引入扩散模型(duffision model)，输入一段观测序列，输出未来一段时间的行为序列，在机器人操作数据集上学习，即模仿学习或监督学习。相比于现在常用的模仿学习方法LSTM-GMM、IBC（Implicit behavioral cloning）、BET（Behavior transformers），在多个仿真和真实实验上提升约46.9%，在多个真实实验中与人类水平相近，方法结构如下：在这里插入图片描述
采用CNN结构和Transformer架构分别构建了扩散模型，观测序列是图像或状态向量。
相比于以前的方法，该方法主要有以下提升：

  1. 处理多峰action分布。由于扩散模型在噪声中采样初始action，并在后续优化过程中增加了高斯扰动，使其能够不陷入局部最优。
  2. 高维连续行为输出。扩散模型天生就能输出高维信息。
  3. 训练稳定。以前的模仿学习方法大多采用类对比学习损失来优化基于能量的模型，其中负样本采样过程的不精确导致训练不稳定，
最低0.47元/天 解锁文章
wangdx_robot
关注
具身智能 - Diffusion Policy：技术解析与应用实践
03-29 573
是一种基于扩散模型（Diffusion Models）的决策生成框架，专为具身智能（Embodied Intelligence）设计。的过程，在复杂环境中生成鲁棒的动作序列。通过演示数据（IL）或交互数据（RL）构建数据集 D={(si,ai)}D={(si​,ai​)}。状态 ss 处理：CNN（图像） + Transformer（时序传感器数据）。使用 U-Net 结构预测噪声 ϵθ(z,at,t)ϵθ​(z,at​,t)。先训练短时动作生成（T=10），逐步扩展至长序列（T=100）。
Diffusion Policy，生成式决策框架
紫金山赵火龙的博客
11-11 1398
解决的是机器人输出的问题，输入端使用非常普通的东西，聚焦于机器人的动作端sd模型输出图片，Diffusion Policy输出机器人动作。
Diffusion Policy具体怎么用于机器人控制,原理和过程是怎样? 和其他控制方法有什么区别
强化学习曾小健
08-05 966
Diffusion Policy实现机器人控制的关键优势在于：通过逐步去噪的方式，从随机动作中逐步凝练出符合当前环境/语境的“最优操作轨迹”，极大提升了控制多样性、连续性和泛化能力。与行为克隆等传统方法相比，它不仅更能刻画实际操作中的复杂多模态特征，还显著提高了任务迁移与零样本学习能力，正成为现代机器人智能体领域的热门技术路径。基于Diffusion Policy训练机器人控制主要是通过模仿学习和扩散模型生成的动作序列，训练一个条件去噪扩散生成器，从输入的视觉及状态信息。
Diffusion Policy 代码详解
weixin_53370601的博客
07-01 1339
Diffusion Policy代码解析：从基础到实现 本文详细解析了Diffusion Policy开源项目的代码结构与实现原理。文章首先介绍了必要的预备知识，包括机器学习基础、Diffusion模型和模仿学习相关概念。随后重点分析了项目代码结构，以训练配置文件image_pusht_diffusion_policy_cnn.yaml为切入点，解读了其中包含的各类参数设置及其作用。
【论文阅读】Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
qq_33673253的博客
09-26 4846
本文介绍了扩散策略，这是一种通过将机器人的视觉运动policy表示为条件去噪扩散过程来生成机器人行为的新方法。我们对来自 4 个不同的机器人操作基准的 15 个不同任务的扩散策略进行了基准测试，发现它始终优于现有的 state-of-the-art 机器人学习方法，平均提高了 46.9%。扩散策略学习动作分布评分函数的梯度，并通过一系列随机朗之万动力学步骤在推理过程中针对该梯度场迭代优化。
Diffusion Policy: Visuomotor Policy Learning via Action Diffusion精读笔记（一）
SherylBerg的博客
06-12 7082
本篇主要根据论文中内容和引申内容，做出了对于主要技术路线的讲解，接下来可能还会继续更新关于代码和实验复现的相关内容，欢迎批评指正。
论文阅读笔记——Reactive Diffusion Policy
Multiple_x的博客
04-13 1480
Reactive Diffusion Policy: Slow-Fast Visual-Tactile Policy Learning for Contact-Rich Manipulation 论文阅读笔记
Diffusion Policy——斯坦福UMI所用的动作预测算法：基于扩散模型的扩散策略
小蜗牛的珍贵百宝箱
05-19 1536
是一种基于扩散模型的动作预测方法。传统的强化学习（RL）方法通常采用策略梯度（Policy Gradient）或值函数（Value Function）来指导智能体如何做决策，但这些方法往往在复杂的任务中效果有限。相比之下，扩散模型则可以通过逐步去噪的过程生成复杂的动作序列，这使得它能够捕捉到更丰富的动作模式和潜在的策略空间。将扩散模型的优势引入到动作生成的过程中，通过模拟动作空间的扩散过程，逐步将一个随机的噪声序列转化为智能体的最终动作。
Diffusion Policy—论文解读
weixin_51995147的博客
07-02 631
Diffusion Policy 首次由 Cheng Chi 等人在 2023 年提出，核心思想是将机器人策略表示为一个条件去噪扩散过程，而非传统的直接回归或分类结构。在训练阶段，模型学习「给定视觉/状态观测下的动作分布梯度」，并在推理阶段通过一系列随机 Langevin 动力学步骤（即多步迭代去噪）来生成最终动作。这种表征在处理多模态动作分布、高维动作空间时表现出色，并且训练稳定性显著优于常规模仿学习方法。
Diffusion Policy——斯坦福UMI所用的动作预测算法：基于扩散模型的扩散策略(从原理到其编码实现)
结构之法 算法之道
11-09 2万+
所谓扩散策略，是指将机器人的视觉运动策略表示为条件去噪扩散过程来生成机器人行为的新方法，如下图所示a)具有不同类型动作表示的显式策略(b)隐式策略学习以动作和观察为条件的能量函数，并优化能够最小化能量景观的动作c)通过“条件去噪扩散过程在机器人行动空间上生成行为”，即该扩散策略策略不直接输出一个动作，而是推断出「基于视觉观察的动作-评分梯度」，进行K次去噪迭代。
VLA 论文精读（三）Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
nenchoumi3119的博客
03-31 2443
VLA的Diffusion Policy论文精读
Diffusion Policy:基于扩散模型的机器人动作生成策略
zhaoliang的博客
05-23 9425
Diffusion Policy:基于扩散模型的机器人动作生成策略
哥伦比亚大学突破性的方法- Diffusion Policy：利用Action Diffusion进行视觉运动策略学习
jiayoushijie的博客
06-21 3732
本论文工作提出了一种名为Diffusion Policy的新型视觉运动策略学习方法，它利用了扩散模型强大的生成建模能力。通过引入时间衰减控制、视觉条件和时间序列扩散transformer等关键技术贡献，Diffusion Policy在各种复杂的机器人操作任务上实现了最佳性能，展示了其在机器人领域的广阔应用前景。
Diffusion Policy：革命性的策略扩散模型
gitblog_01080的博客
08-09 1272
Diffusion Policy：革命性的策略扩散模型 diffusion_policy[RSS 2023] Diffusion Policy Visuomotor Policy Learning via Action Diffusion项目地址:https://gitcode.com/gh_mirrors/di/diffusion_policy 项目介绍 Diffusion Policy 是一...
复现Diffusion-policy模型
qq_59001382的博客
12-09 4149
1、系统版本： Ubuntu 20.04.6 LTS打开设置，点击关于，查看版本号2、内核：Ubuntu，Linux 5.15.0-122-generic打开终端，输入uname -a命令，可查看内核版本号uname -a。_ubuntu安装实时内核。将diffusion-policy算法部署至franka机械臂上的实验环境包括ubuntu系统与实时内核环境、polymetis环境(基于pytorch的franka实时控制器)和robodiff环境(diffusion-policy模型依赖环境)。
探索未来：深度学习中的扩散策略库 - Diffusion Policy
gitblog_00092的博客
04-18 1242
探索未来：深度学习中的扩散策略库 - Diffusion Policy diffusion_policy[RSS 2023] Diffusion Policy Visuomotor Policy Learning via Action Diffusion项目地址:https://gitcode.com/gh_mirrors/di/diffusion_policy 在人工智能和机器学习领域，模型的...
Diffusion Policy——从公式和代码角度解析：个人最看好的机器人操控算法
小蜗牛的珍贵百宝箱
05-17 1545
Diffusion Policy 是一种基于扩散模型的动作预测算法，广泛应用于机器人操控领域。它通过逐步去噪的过程生成机器人在特定环境下的动作序列，能够有效捕捉复杂任务中的潜在策略空间。与传统的强化学习算法不同，Diffusion Policy 利用扩散模型的生成特性，结合前向扩散和反向去噪过程，生成精准的动作。其核心模型通常采用 U-Net 类型的神经网络，通过训练去噪网络来恢复合理的动作序列。训练过程结合了扩散模型和强化学习，优化模型以最大化累积奖励。Diffusion Policy 在复杂任务中表现出
Diffusion Policy：基于扩散模型的视觉运动策略学习新范式
最新发布
qq_43664407的博客
08-06 1273
Diffusion Policy通过​​扩散模型​​​多模态建模​​：自然捕捉动作空间的多样性​​高维处理​​：支持长序列动作的稳定学习​​训练鲁棒性​​：MSE损失避免对比学习的梯度问题随着​​扩散模型加速技术​推理延迟从100ms级降至10ms级从纯模仿学习扩展到强化学习框架实现跨模态策略学习（视觉-触觉-力觉）这项技术正在推动机器人学习从​​单一解策略​​向​​多模态策略​​的范式转变，为复杂场景下的机器人应用开辟了新可能。
UMI——斯坦福刷盘机器人：通过手持夹爪革新数据收集方式，且使用视觉SLAM和Diffusion Policy预测动作
热门推荐
结构之法 算法之道
01-10 2万+
如下图所示a)具有不同类型动作表示的显式策略(b)隐式策略学习以动作和观察为条件的能量函数，并对最小化能量景观的动作进行优化(c)扩散策略通过学习的梯度场将噪声细化为动作。这种表述提供了稳定的训练，允许学习到的策略准确地建模为多模态动作分布，并容纳高维动作序列进一步，所谓扩散策略，是指将机器人的视觉运动策略表示为条件去噪扩散过程来生成机器人行为的新方法扩散策略学习动作-分布评分函数的梯度即该策略不是直接输出一个动作，而是以视觉观察为条件，对K次去噪迭代推断“动作-得分梯度”(
diffusion policy
01-16
### 扩散策略在机器学习中的概念 扩散模型是一种强大的生成模型，在图像、音频和其他数据类型的生成任务中表现出色。这些模型通过逐步向输入数据添加噪声来训练，随后再学习如何逆转这个过程以去除噪声并恢复原始数据[^1]。 具体来说，扩散策略（Diffusion Policy）通常指利用这种去噪机制来进行决策制定的过程。这类方法可以应用于强化学习领域，其中代理(agent)学会执行一系列动作以最大化累积奖励。在这种背景下，扩散策略能够帮助解决连续控制问题，并且已经在机器人技术和自动驾驶汽车等领域显示出巨大潜力[^2]。 为了实现这一点，研究人员开发出了基于变分推理框架下的算法，使得模型能够在高维空间内有效地探索可能的状态转移路径。此外，还引入了时间反演技术，允许更灵活地调整采样步骤的数量以及每一步骤之间的间隔大小，从而提高了效率和性能表现[^3]。 ```python import torch from diffusers import DiffusionPipeline pipeline = DiffusionPipeline.from_pretrained('model_name') image = pipeline(prompt="an example image").images[0] ``` 此代码片段展示了如何加载预训练好的扩散模型并通过给定提示词生成一张图片。虽然这只是一个简单的例子，但它体现了扩散策略背后的核心思想——即通过对潜在分布施加渐进式的扰动来引导最终输出的结果。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值