Franka Research 3 & RoboSplat：仅需一次演示，即实现六类任务泛化！

本文链接：https://blog.youkuaiyun.com/Hinyeung2021/article/details/148080532

在机器人操控领域，视觉运动策略的模仿学习面临两大核心挑战：

1、传统策略因训练数据场景覆盖有限，导致部署时性能急剧下降；

2、模拟到现实的迁移过程中，几何重建误差与物理模拟失配造成策略稳定性不足。

本文以Franka Research 3机械臂为载体，提出RoboSplat方法。该方法基于3D高斯溅射技术，通过单次专家演示即可生成空间精准、场景多样的高质量数据，有效突破数据采集瓶颈并填补模拟现实差距，显著增强视觉运动策略的泛化能力与鲁棒性。

技术框架与核心参数

Franka Research 3机械臂

7自由度设计
Franka末端执行夹爪
传感器配置

RealsenseD435i相机：获取RGB图像观测值

RoboSplat技术框架

三维高斯溅射重建

3D 高斯溅射（3DGS）：利用多视角图像实现高保真场景重建

RoboSplat 的关键技术：通过场景重建与预处理、新颖演示生成两大模块实现技术突破

图1：我们的方法从单个专家演示和多视角图像入手，生成多样化且视觉逼真的策略学习数据，从而在现实世界中六种泛化类型中实现稳健的性能。与之前的二维数据增强方法相比，我们的方法在各种泛化类型中都取得了显著更好的效果。值得注意的是，我们在一个统一的框架内实现了这一目标。

策略开发全流程

数据采集：

使用 Franka Research 3 机械臂完成一次专家演示（如拾取红酒杯并放置到指定位置），同步采集多视角 RGB 图像、关节轨迹数据。

场景重建与预处理：

通过 COLMAP 稀疏重建 + 3DGS 密集高斯生成，构建包含机械臂、物体、环境的三维场景。

利用 Grounded-SAM 分割物体高斯与机械臂链接高斯，实现场景组件解耦。

六维度数据增强：

基于原始演示，生成包含新物体（如玻璃杯、金属罐）、新光照（强光 / 弱光）、新视角（顶视 / 侧视）等场景的虚拟演示数据。

策略训练：

使用增强后的 5000 + 演示数据训练视觉运动策略（如 DDPG 算法），输入为渲染图像，输出为机械臂关节控制指令。

高斯初始化：通过Depth Anything优化深度估计，初始化N≈106个高斯基元
可微分优化：采用分层渲染策略，先优化前景物体（迭代次数Tobj=500），再全局微调（Tglobal=2000）

图4：可微分渲染的帧对齐示意图。计算使用高斯Splatting渲染的蒙版与使用URDF渲染的蒙版之间的损失。随后，使用反向传播和梯度下降来优化平移、旋转和缩放，并将其应用于3D高斯函数。

对齐的目标函数：

真实场景验证

在现实世界中进行了全面的实验，以验证演示生成流程的有效性。

现实实验配置：

一台ranka Research 3

两台 RealSense D435i 摄像头

任务说明：设计了五个操作任务用于现实世界的评估：拾取物体、关闭抽屉、拾取-放置-关闭、双重拾取-放置和清扫

实验设置

在物体姿态泛化测试中，RoboSplat成功处理专家轨迹中未出现的堆叠（高度差达0.4m）、悬空（支撑点占比<30%）等复杂场景。特别是在工具使用任务中，机械臂能自适应调整螺丝刀握持角度（变化范围±45∘），完成非结构化环境下的装配操作。

图8：不同泛化类型的真实世界实验说明。数据是在原始设置中收集的。在部署训练好的策略时，我们会修改物体姿态、光照条件、场景外观、摄像机视角、物体类型和具体化，以评估其在不同场景下的鲁棒性。

验证照明增强有效性实验策略：

200 个真实世界演示
1800 个仅使用物体姿势增强生成的演示，与VC中（图8使用的数据相同
增强了色彩抖动的真实世界演示
管道生成了3200 个演示，同时具有光照条件和物体姿势增强

增强数据训练策略的表现

图7：主要结果。左上：我们展示了五项任务的平均成功率。随着演示次数的增加，我们的方法展现出良好的可扩展性。其余五个子图：对于每项任务，我们评估了使用手动收集的数据训练的策略以及我们的方法在 30 次试验中生成的策略的成功率，并使用了不同的演示次数。

RoboSplat生成的演示数据在规模扩展时展现出显著优势：800个生成演示即可达到200个真实演示的性能水平，而1800个生成演示可将成功率提升至94.7%，显著超越同等规模真实数据。

尤其在Dual Pick-Place任务中，该方法实现96.7%的成功率，较基线提升近20%，验证了其在生成多样化物体姿态及提升策略泛化能力方面的卓越可扩展性。

面对各种部署设置时的稳健性

在光照、场景外观、摄像机视角、物体类型及具体化类型五个维度上增强了专家演示，并对比了使用真实、二维增强数据及我们生成数据数据训练的策略效果。

光照条件和外观变化下的性能。我们报告了不同策略在不同光照条件和外观下的成功率。使用生成的演示进行训练，并进行相应增强的策略与基线策略相比，表现出显著的进步。

结论：

RoboSplat开创性地将三维高斯溅射技术转化为机器人学习引擎，通过单次演示即可生成覆盖六维变化的高保真数据。

该方法在Franka Research 3平台上的成功验证，为工业机器人训练提供了全新范式：将传统需要数百次演示的数据采集成本，压缩至单次高效采集加智能增强的模式。未来工作将探索动态场景重建与强化学习结合，进一步拓展机器人操作的能力边界。

项目详情链接：https://arxiv.org/html/2504.13175v1#S5.SS3

我们能做什么

定制化机器人系统开发

基于Franka机器人的复合机器人、双臂协作系统、机器视觉集成方案等。

核心技术研发支持

三维机器视觉算法、机器人控制算法、灵巧手系统开发。

一站式机器人产品供应

代理 Franka、Force Dimension、Robotiq、Onrbot、LEAPHand、因时机器人、松灵机器人、海康机器人等国内外知名品牌。

快速部署与调试服务

48 小时内工程师现场调试，专属技术管家全程支持。

我们能为客户提供什么

高性能产品与解决方案

原厂认证的机器人及高可靠性配件，覆盖工业、医疗、科研多领域。

灵活的服务模式

支持设备购买、租赁、分期付款等多元合作方案。

极速响应与专业支持

15 分钟内技术响应，定制化需求快速落地。

全生命周期服务

从方案设计、系统集成到售后维护，提供全流程技术保障。

公司介绍

显扬科技旗下BFT机器人平台是Franka机器人官方渠道商，专注于为客户提供高精度协作机器人及行业解决方案。

核心优势

资深工程师团队，具备多领域机器人系统开发经验；
国内外顶尖机器人品牌资源整合能力；
自主研发的机器视觉与灵巧手技术；
全天候高效服务支持体系。