论文阅读笔记——Reactive Diffusion Policy

Reactive Diffusion Policy论文阅读笔记
原创 已于 2025-04-13 14:58:03 修改 · 1.4k 阅读 · 30 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #笔记 #机器人 #具身智能 #DP

于 2025-04-13 14:57:04 首次发布

RDP 论文

  • 通过 AR 提供实时触觉/力反馈；
  • 慢速扩散策略，用于预测低频潜在空间中的高层动作分块；快速非对称分词器实现闭环反馈控制。

ACT、 π 0 \pi_0 π0​ 采取了动作分块，在动作分块执行期间处于开环状态，无法及时响应环境变化，缺乏触觉输入，无法适应高精度（力控制）任务和及时响应。现有的触觉输入是侧重于观察方面，利用触觉输入提供视觉遮挡或接触状态判断等信息。在数据上，MTDP（Mixed-Teleoperation Demonstration Policy）通过增强现实（AR）技术实现了两大突破性改进：1）异构机器人兼容性 - 克服了传统ALOHA双边控制系统必须使用同构机器人的限制；2）成本优化 - 相比基于专业力/扭矩传感器的触觉反馈方案，显著降低了硬件成本。并且现有的触觉输入的方案均排除了视觉输入。

  • 力/扭矩传感器——直接测量末端或关节的力/扭矩数值，高速运动时噪声明显且成本高。
  • 触觉传感器
    • 电学式触觉传感器——通过电容、电阻等原理感知，空间分辨率较低，且少数型号能直接输出法向力与切向力，且需依赖力/扭矩传感器标定；
    • 光学式触觉传感器——通过相机捕捉凝胶变形的高分率图像，追踪凝胶表面的法向/剪切变形场，力/扭矩信息需通过剪切长间接表征。
      MTDP 采取 GelSight Mini 和 MCTrac 两种光学式触觉传感器和机器臂关节扭矩传感器。将法向力、剪切力、视觉 RGB 输入输入为统一的 visual-tactile policy。
      数据集为利用 GelSIght Mini 收集的 30min 的随机交互视频和使用 MCTrac 为剥皮任务收集的 60 次演示，为擦拭任务收集的 80 次演示，为双手抬举任务收集的 50 次演示。

TactAR

在这里插入图片描述

25 Hz 是因为限制于 GelSight 帧速率限制。

从二维光流推算力数据依赖传感器的标定，采用可视化三维变形场：

  • 标记点提取：通过 OpenCV 从触觉图像 I t I_t It​ 中提取归一化标记点位置 D t D_t Dt​；
  • 光流计算：基于得分追踪算法（Gelsight SDK）计算初始帧 D 0 D_0 D0​ 与当前帧 D t D_t Dt​ 的二维光流 F t = [ d x , d y ] = F l o w ( D 0 , D t ) F_t=[d_x,d_y]=Flow(D_0,D_t) Ft​=
最低0.47元/天 解锁文章
具身智能 - Diffusion Policy：技术解析与应用实践
03-29 543
是一种基于扩散模型（Diffusion Models）的决策生成框架，专为具身智能（Embodied Intelligence）设计。的过程，在复杂环境中生成鲁棒的动作序列。通过演示数据（IL）或交互数据（RL）构建数据集 D={(si,ai)}D={(si​,ai​)}。状态 ss 处理：CNN（图像） + Transformer（时序传感器数据）。使用 U-Net 结构预测噪声 ϵθ(z,at,t)ϵθ​(z,at​,t)。先训练短时动作生成（T=10），逐步扩展至长序列（T=100）。
论文阅读笔记——ComfyMind: Toward General-Purpose Generation via Tree-Based Planning and Reactive Feedback
Multiple_x的博客
06-09 784
ComfyMind: Toward General-Purpose Generation via Tree-Based Planning and Reactive Feedback 论文阅读笔记
DiffusionPlanner复现
zhaoguanhua的博客
09-05 1436
Diffusion-Planner没有val的过程，每20个epoch保存一个模型，我对epoch300~epoch500模型都做了val14、test14-random、test14-hard测试集都做了仿真，指标如下，可以看到跟论文中的最优指标还是有点差异的。错误修改:Diffusion-Planner/diffusion_planner/model/module/decoder.py的初始化中。我这边一台机器生产100万数据大概需要2周左右的时间，觉得慢的可以用多台机器并行跑。master机器执行。
VLA之外，具身+VA工作汇总
CV_Autobot的博客
07-15 263
前面一直分享VLA相关工作，这里也为大家汇总下具身+VA相关的工作（ Vision + Action），涉及机器人操作、DP、全身控制、One-Shot 、sim2real、端到端等；内容出自具身智能之心知识星球！更多干货，欢迎加入国内首个具身智能全栈学习社区。这里包含所有你想要的。
Tactile-VLA——将触觉作为原生模态引入VLA：触觉参与动作生成，且根据触觉推理出合适的力度大小，以高成功率搞定充电器和USB插拔
结构之法 算法之道
08-18 3291
摘要： Tactile-VLA是一种融合视觉、语言与触觉的多模态机器人操作框架，通过触觉感知提升接触丰富任务的执行精度。该模型基于π0架构改进，引入触觉编码器和混合力控机制，将语言指令（如"轻柔地"）直接映射为物理力目标。通过端到端流匹配训练，模型展现了零样本泛化能力，包括力控指令迁移、物体自适应抓握及基于触觉反馈的自主纠错。实验表明，Tactile-VLA在插拔、装配等需精细力控的场景中优于传统视觉-语言模型，实现了语义理解与物理交互的深度结合。
VLA 论文精读（七）Reactive Diffusion Policy: Slow-Fast Visual-Tactile Policy Learning for Contact-Rich Mani
nenchoumi3119的博客
04-10 3442
作者介绍了一个带有触觉信息的TactAR数据采集框架，并创造了一个RDP的快-慢策略网路，快网络用触觉信息实现闭环动作，慢网络用视觉信息提供开环轨迹。
Diffusion Policy在机器人操作任务上有哪些主流的方法？
CV_Autobot的博客
03-17 685
在复杂任务的执行中，扩散策略的独特优势展露无遗。例如，当机器人需要在复杂的迷宫环境中规划路径，或机械臂需要将物体精准放置到指定位置等强调终点约束的任务中，扩散策略能够一次性生成完整的运动轨迹，既保证了路径的连续性，又确保了终点的精确性，充分体现了其在目标导向控制方面的卓越性能。扩散策略的发展历程令人瞩目。在扩散策略的技术体系中，从基础的状态扩散策略Diffuser开始，经过Decision Diffuser的发展，以及动作扩散策略（Diffusion Policy）的提出，扩散策略不断完善其理论框架。
哥伦比亚大学突破性的方法- Diffusion Policy：利用Action Diffusion进行视觉运动策略学习
jiayoushijie的博客
06-21 3705
本论文工作提出了一种名为Diffusion Policy的新型视觉运动策略学习方法，它利用了扩散模型强大的生成建模能力。通过引入时间衰减控制、视觉条件和时间序列扩散transformer等关键技术贡献，Diffusion Policy在各种复杂的机器人操作任务上实现了最佳性能，展示了其在机器人领域的广阔应用前景。
Diffusion Policy——斯坦福UMI所用的动作预测算法：基于扩散模型的扩散策略(从原理到其编码实现)
热门推荐
结构之法 算法之道
11-09 2万+
所谓扩散策略，是指将机器人的视觉运动策略表示为条件去噪扩散过程来生成机器人行为的新方法，如下图所示a)具有不同类型动作表示的显式策略(b)隐式策略学习以动作和观察为条件的能量函数，并优化能够最小化能量景观的动作c)通过“条件去噪扩散过程在机器人行动空间上生成行为”，即该扩散策略策略不直接输出一个动作，而是推断出「基于视觉观察的动作-评分梯度」，进行K次去噪迭代。
Diffusion Policy:基于扩散模型的机器人动作生成策略
zhaoliang的博客
05-23 9352
Diffusion Policy:基于扩散模型的机器人动作生成策略
Vue3 响应式实践——reactive与ref
阿超的博客
04-17 589
用了 reactive，数据改了，页面却没反应？解构一时爽，结果响应式没了？别头疼了！这篇直接给你把 Vue3 响应式 API 的那些弯弯绕绕讲透彻，让你彻底跟 reactive 的坑说拜拜，以后只宠 ref 这位“小甜甜”！刚上手 Vue3 的小伙伴，可能觉得 reactive 声明对象挺顺手。但真到项目里，你会发现 reactive 这家伙，坑你没商量！下面这些场景，都是过来人的血泪教训！ref。
Vue3 学习笔记 —— ref 和 reactive
叹之
05-02 609
ref 一般用来定义基础类型的响应式数据 返回一个对象，通过.value访问定义的基础类型值 在template中，不需要使用 .value <template> {{count}} // 在template中使用时，不需要 .value <button @click="addCount">加1</button> </template> <script lang="ts"> import { defineComponent, ref
论文笔记（一百零六）RynnVLA-002: A Unified Vision-Language-Action and World Model
最新发布
xzs1210652636的博客
12-02 694
本文提出了RynnVLA-002，一个将视觉-语言-动作(VLA)模型与世界模型相统一的创新框架。该模型通过联合学习环境动态和动作规划，实现了视觉理解与动作生成的相互促进。研究采用了混合架构设计，结合离散联合建模和连续的Action Transformer头，有效解决了自回归动作生成中的错误累积问题，提升了泛化能力和推理速度。实验结果表明，在LIBERO仿真基准上，RynnVLA-002取得了97.4%的成功率；在真实机器人任务中，其集成的世界模型使整体成功率提升了50%，显著优于单独的VLA或世界模型。
【论文阅读20】MM-LLMs：多模态大语言模型的最新进展
Ma040713的博客
12-02 596
【摘要】《MM-LLMs:多模态大语言模型最新进展》综述了多模态大语言模型(MM-LLMs)的技术发展。论文提出通用五组件架构：模态编码器、输入投影器、LLM骨干、输出投影器和模态生成器，并详细分析了126个SOTA模型的演进趋势。研究揭示了从单一理解到任意模态转换的发展路径，总结了提升性能的关键因素，如高分辨率输入、高质量微调数据等。最后探讨了未来研究方向，包括扩展更多模态、轻量化部署和减少幻觉等。该研究为理解多模态大模型技术发展提供了系统性参考。
【论文阅读笔记】IDAQ：离线元强化学习中的分布内在线适应
iiiiii11的博客
11-29 380
本文介绍了一种解决离线元强化学习中转移-奖励分布偏移问题的新方法IDAQ，通过理论分析和实验验证展示了其优越性能。
[论文阅读] AI + 编码 | Agint：让LLM编码代理告别“混乱”，用图编译打通自然语言到可执行代码的任督二脉
张较瘦
11-29 741
LLM编码代理日益普及，但面临上下文管理、延迟、可靠性、可复现性及扩展性挑战。本文提出Agint——一款agentic图编译器、解释器与运行时，可将自然语言指令增量转换为类型化、效果感知的代码DAG。Agint引入TEXT→TYPED→SPEC→CODE的显式类型层，结合混合LLM/函数JIT运行时，支持动态图优化、可复现执行及与开发工具的互操作性。其DAG结构确保并发安全性与可组合性，支持小模型低延迟执行、大模型按需调用；还提供dagify、dagent等Unix风格工具链及GUI，赋能技术与非技术用户协
论文阅读《Audit Games with Multiple Defender Resources》
m0_67450301的博客
12-02 526
参数图。
【论文阅读】--多模态大语言模型的安全性研究综述
我是个好人呀，O(∩_∩)O
12-02 896
从简单高效的线性投影器和MLP，到适用于深度交互的交叉注意力机制，再到能够精细提取特征的Q-Former、P-Former以及其增强版MQ-Former，这些工具共同奠定了多模态模型复杂特征表示的基础。例如，将视觉问答数据集中的输入（图像和问题）和输出转换为多模态输入和响应，并结合任务描述丰富数据的指令格式。综上所述，不同的模态编码器根据各自的特点和应用场景，采用了不同的技术和架构，但共同目标是为多模态大型语言模型提供统一且有效的特征表示，使得模型能够在处理复杂多样的输入时实现精准的理解和生成能力。
[论文笔记] ASR is all you need: Cross-modal distillation for lip reading (2020)
2302_76169191的博客
12-02 406
本文深度解读了 2020 年唇语识别（Lip Reading/VSR）领域的经典论文《ASR is all you need: Cross-modal distillation for lip reading》。针对 VSR 任务中“高质量视听标注数据稀缺”的核心痛点，论文创新性地提出了一种跨模态知识蒸馏框架：利用在海量纯音频语料上预训练好的 ASR 模型（教师），通过“双重监督信号”（CTC 硬标签 + 概率分布软标签），指导仅输入视频信号的 VSR 模型（学生） 在无标签数据（如 VoxCeleb2）上
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值