Hello Robot创新突破！Stretch3机器人搭载RUMs模型实现未知环境中“即插即用”

"无需环境适配、无需代码修改，Hello Robot发布的Robot Utility Models（RUMs）技术，正在重新定义机器人应用边界。通过5大类1000+真实场景训练数据，这套模型已实现在陌生环境中90%的任务成功率，标志着机器人从「专用设备」向「通用智能体」的重要跨越。"

Stretch 3是Hello Robot推出的一款轻便移动操作机器人,以其出色的灵活性和适应性受到关注。结合RUMs技术,Stretch 3移动操作机器人能够在不同环境下高效完成多种任务，无需额外的数据集或再训练过程。Stretch 3的这种能力不仅展示了机器人技术的发展潜力，也为多个行业带来了新的机遇。

解锁Haply精准三维力反馈交互！Inverse3三轴力反馈控制器在外科手术模拟与机器人遥操作中大放异彩。

🌟 RUMs 模型：零样本部署的核心引擎

由纽约大学等机构联合研发的Robot Utility Models (RUMs)，通过多模态模仿学习与外部大模型验证，实现了90%的跨环境任务成功率。无需额外数据或训练，即可直接部署于新场景，涵盖开门、取物、物品复位等五大核心功能。

视频中，机器人就像拥有了“自我纠错”能力，当任务失败，它会把观测总结“告诉”多模态大语言模型，模型判断失败后，机器人便自动重置到初始状态，再次勇敢尝试。

RUMs技术：零样本部署的技术亮点
✅ 零样本泛化：通过36个环境、5,509 条轨迹训练，模型可直接适应未见过的物体与环境。

✅ 多模态融合：结合RGB 视觉、机械臂位姿数据与大模型决策，提升复杂场景应对能力。
✅ 硬件兼容性：支持 Stretch3、xArm 等多平台，通过标准化夹具实现快速适配。

应用场景示例

厨房场景：自动打开微波炉 / 抽屉，拾取纸巾、纸袋等异形物体。

家庭清洁：扶起倾倒的花瓶、整理散落物品。

辅助养老：精准操作电器开关，完成轻量级搬运任务。

未来展望：机器人技术的无限可能

RUMs技术不仅提高了机器人的适应性和效率，还为机器人技术的广泛应用铺平了道路。随着技术的不断进步，我们有理由相信，机器人将成为未来生活和工作的核心力量。

引用链接

论文链接：《Robot Utility Models: General Policies for Zero-Shot Deployment》

https://robotutilitymodels.com/dataset

开源数据集：5 任务180环境训练数据

https://robotutilitymodels.com/dataset

GitHub 代码：RUMs 算法实现

https://arxiv.org/abs/2409.05865