技术分享：UMI机器人操作通用框架在Franka机器人上的配置方法

最新推荐文章于 2025-11-12 15:46:44 发布
原创 最新推荐文章于 2025-11-12 15:46:44 发布 · 1k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器人 #Franka FR3 #人工智能 #UMI

在 Franka 机器人上部署 UMI 策略

UMI全称为universal manipulation interface， 是斯坦福大大学团队提出通用操纵接口（UMI）通用框架，可以直接从人类演示中学习有能力且可泛化的操纵策略。UMI 夹具是一个手持式演示接口，可捕获足够的信息来学习一些具有挑战性的操作任务，包括洗脏盘子、双手折叠毛衣以及动态物体投掷和分类。该项工作解决了机器人训练中“先有鸡还是先有蛋”的难题。该部署框架，可以直接采用Franka七轴力控机器人实现操作。

图片

系统概述

  2. 图片

  3. FrankaInterface (服务器)：scripts_real/launch_franka_interface_server.py (L7)

  4. FrankaInterface (客户端): umi/real_world/franka_interpolation_controller.py (L36)

  5. FrankaInterpolationController：umi/real_world/franka_interpolation_controller.py（L71）

步骤

将质量设置为 1.8 kg

将法兰到载荷矢量质心设置为 (0.064, -0.0

最低0.47元/天 解锁文章
PNP机器人
关注
论文复现５：UMI Universal Manipulation Interface
github_38060285的博客
05-02 1515
UMI 采用手持式夹具，加上精心的界面设计，可实现便携式、低成本和信息丰富的数据收集，以进行具有挑战性的双手和动态操作演示。配备这些功能后，UMI 框架解锁了新的机器人操作功能，只需更改每个任务的训练数据，即可实现零样本可推广的动态、双手、精确和长视野行为。我们通过全面的现实世界实验展示了 UMI 的多功能性和有效性，其中通过 UMI Zeroshot 学习的策略在对不同的人类演示进行训练时可以推广到新的环境和对象。项目主页：https://umi-gripper.github.io/
EnerVerse：智元机器人提出首个机器人4D世界模型，在动作规划任务中达到SOTA水平
强化学习曾小健
02-28 827
此外，EnerVerse 引入了稀疏记忆机制，借鉴大型语言模型的上下文记忆能力，在训练阶段对历史帧进行高比例随机掩码处理，并在推理阶段以较大时间间隔更新记忆队列，这不仅大幅降低了计算成本，还显著增强了长程任务的生成能力。这一创新设计的核心亮点包括：极速动作预测——生成网络在逆扩散的初始阶段即可迅速输出未来动作序列，无需等待完整的空间构建，确保了动作预测的即时响应。然而，在面对错综复杂的具身任务时，现有方法显露出明显不足：首先，通用视频生成模型在具身场景的优化上存在短板，难以满足具身任务的特殊需求。
furniture-bench：面向复杂长期操作的真实世界家具组装基准
gitblog_00387的博客
03-30 289
furniture-bench：面向复杂长期操作的真实世界家具组装基准 项目介绍 在现代机器人研究领域，家具组装是一项具有挑战性的长期复杂操作任务。furniture-bench项目应运而生，它是一个旨在提供可复现且易于使用的真实世界家具组装基准的平台。该项目通过提供一系列工具和资源，帮助研究者和开发者进行长周期、复杂度的机器人操纵研究。 项目技术分析 furniture-bench的核心是一个标...
UMI-机器人采集数据的通用框架
2302_79135989的博客
08-18 1935
摘要： 斯坦福大学提出的UMI（Universal Manipulation Interface）是一种低成本、高效的机器人数据采集框架，通过手持夹持器设计结合视觉-惯性SLAM系统，解决了传统遥操作和视频学习在动态任务中的局限性。UMI采用鱼眼镜头、侧面镜和IMU传感器实现多模态感知，并通过延迟匹配机制（包括相机、执行器、通信延迟的精确估计与补偿）提升策略迁移的稳定性。实验表明，UMI能高效采集复杂操作数据，支持双臂协调等长时序任务，为机器人学习提供了可扩展的通用解决方案。
UMI——斯坦福刷盘机器人：通过手持夹爪革新数据收集方式，且使用视觉SLAM和Diffusion Policy预测动作
热门推荐
结构之法 算法之道
01-10 2万+
如下图所示a)具有不同类型动作表示的显式策略(b)隐式策略学习以动作和观察为条件的能量函数，并对最小化能量景观的动作进行优化(c)扩散策略通过学习的梯度场将噪声细化为动作。这种表述提供了稳定的训练，允许学习到的策略准确地建模为多模态动作分布，并容纳高维动作序列进一步，所谓扩散策略，是指将机器人的视觉运动策略表示为条件去噪扩散过程来生成机器人行为的新方法扩散策略学习动作-分布评分函数的梯度即该策略不是直接输出一个动作，而是以视觉观察为条件，对K次去噪迭代推断“动作-得分梯度”(
通用操作接口UMI：如何快速简单地给机器人提供更多学习数据？
soaring_casia的专栏
03-04 2703
斯坦福团队提出通用操纵接口（UMI）通用框架，可以直接从人类演示中学习有能力且可泛化的操纵策略。该项工作解决了机器人训练中“先有鸡还是先有蛋”的难题。。
复现Diffusion-policy模型
qq_59001382的博客
12-09 4109
1、系统版本： Ubuntu 20.04.6 LTS打开设置，点击关于，查看版本号2、内核：Ubuntu，Linux 5.15.0-122-generic打开终端，输入uname -a命令，可查看内核版本号uname -a。_ubuntu安装实时内核。将diffusion-policy算法部署至franka机械臂上的实验环境包括ubuntu系统与实时内核环境、polymetis环境(基于pytorch的franka实时控制器)和robodiff环境(diffusion-policy模型依赖环境)。
UMI —— 无需非现场机器人的非现场机器人示教
weixin_43948181的博客
12-10 1601
机械臂统一接口UMI：无需机器人的机器人示教
伯克利HIL-SERL：强化学习基于视觉Franka机器人精确灵巧操纵策略,1-2.5 小时训练任务实现 100% 成功率
强化学习曾小健
02-28 1211
传统力控方法在面对复杂装配任务时，往往受限于样本复杂度、优化稳定性以及对精确奖励函数的依赖，难以在真实世界中实现高效、灵活的操作，而HIL-SERL通过结合预训练的视觉主干网络、样本高效的离策略强化学习算法（RLPD）以及人类示范和实时纠正，显著提高了机器人的学习效率和操作成功率。在训练初期，系统会频繁向人类操作员询问潜在的纠正，随后以离策略的方式使用这些纠正来更新策略随着训练的进行，干预率逐渐降低，表明策略不断优化，机器人能够自主完成任务此外，该框架还设计了低级控制器以确保策略训练期间的安全性。
umi franka
04-02
### UMI框架与Franka机器人的技术集成 UMI（Universal Manipulation Interface）是一种用于机器人操作的通用框架，旨在简化不同品牌和服务型机器人之间的交互过程。通过该框架，开发者可以更轻松地实现复杂的控制...
UMI（Universal Manipulation Interface）复现过程问题及解决方法记录
仅记录，希望有帮助。
01-17 1745
我们在复现UMI的过程中遇到了一系列问题，解决后在此记录问题及解决方案，以方便其他想要复现的朋友。
斯坦福UMI代码解析：刷盘机器人Universal Manipulation Interface代码的整体解读
结构之法 算法之道
02-02 5591
本文一开始是属于此文《UMI——斯坦福刷盘机器人：通过手持夹爪革新数据收集方式，且使用Diffusion Policy预测动作》的第四部分，但为了把原理部分和代码解析更好的解耦，故把代码解析抽取出来了，独立成本文本解读基本来自我司大模型项目组的远根同学，之前之所以分享其中的部分出来，当时是想招纳可以针对UMI共同做二次开发的朋友。
开源项目教程：通用操纵界面（Universal Manipulation Interface）
最新发布
gitblog_00235的博客
11-12 436
**通用操纵界面**是由斯坦福大学Real团队开发的一个开源项目，旨在提供一个高效且灵活的接口，用于机器人操作和交互任务。这个库特别设计来简化复杂机械臂的控制逻辑，使得开发者能够快速集成和实验不同的算法于不同的机器人平台上。通过利用先进的软件架构，它不仅促进了机器人系统的模块化设计，还增强了代码的可重用性，是机器人研究和应用领域中的强大工具。 ## 项目快速启动 要快速启动并运行此项目，首先确
Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots
CHONGjjj的博客
09-30 758
目前主流的两种演示方式：遥操作和人类演示，都不是充分有效的演示收集方式，前者对硬件和操作人员来说具有较高的成本，后者对机器人表现出很大的具身差距。使用传感器化的手持式夹持器作为数据收集接口成为一种很有前途的中地替代方案——保持直观和灵活的同时最小化实施差距，虽然理论上用户可以通过这些手持设备收集任何动作，但其中大部分数据无法传输到有效的机器人策略中。尽管在数以百计的环境中实现了令人印象深刻的视觉多样性，但收集的动作仅限于简单的抓取[或准静态的拾取和放置，缺乏动作多样性。
Diffusion Policy——斯坦福UMI所用的动作预测算法：基于扩散模型的扩散策略(从原理到其编码实现)
结构之法 算法之道
11-09 2万+
所谓扩散策略，是指将机器人的视觉运动策略表示为条件去噪扩散过程来生成机器人行为的新方法，如下图所示a)具有不同类型动作表示的显式策略(b)隐式策略学习以动作和观察为条件的能量函数，并优化能够最小化能量景观的动作c)通过“条件去噪扩散过程在机器人行动空间上生成行为”，即该扩散策略策略不直接输出一个动作，而是推断出「基于视觉观察的动作-评分梯度」，进行K次去噪迭代。
Figure 01关键技术
zhaoliang的博客
03-20 966
Figure 01关键技术
【亲测免费】 FrankaPy: 控制Franka Emika熊猫研究机器人臂的Python接口
gitblog_00980的博客
08-31 1729
FrankaPy: 控制Franka Emika熊猫研究机器人臂的Python接口 1. 项目介绍 FrankaPy是一个强大的Python库，旨在简化对Franka Emika熊猫机器人臂的研究级控制。该库由IAM Lab CMU开发并维护，提供了与机器人交互的直观接口。通过FrankaPy，研究人员和开发者可以方便地发送命令给机器人，实现精细的动作控制。它依赖于franka-interface...
Fast-UMI——改进斯坦福UMI的硬件：用RealSense T265替代SLAM且实现机械臂的迁移与平替(含归类好的全部硬件清单)
结构之法 算法之道
10-01 8589
24年9.28日下午，微信上的好友丁研究员和我说我当时(周六)和家人在李自健美术馆，故回复之：帅气，我晚上到家后看下我个人确实准备 这几天仔细研究下，毕竟我们之前也在基于umi/dexcap做二次开发，有很多契合点我深知这种感觉，因为当我司做出一个大模型应用或机器人解决方案，哪怕只是一篇博客时，都渴望和同行做各种深入交流而且正如技术合伙人姚博士所说，“fastumi数据采集方式的改进强，因为我们当时也考虑过t265，但确实是人手不足”
具身智能效果展示（一）——UMI复现运行
金陵城中夜将沉的博客
09-13 902
UMI代码极具泛化能力
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值