生成式数字孪生赋能双机械臂协作：基于COBOT Magic Robot的3D感知与代码合成框架

前言：

该论文提出了一个面向双机械臂机器人任务的全新基准框架，通过生成式数字孪生技术解决机器人训练数据稀缺与仿真-现实差距问题。以下是核心内容和技术产品的总结：

论文核心内容

框架设计

1. 提出基于3D生成基础模型和大型语言模型（LLMs）的数字化孪生系统，仅需单张2D图像即可生成多样化的3D物体模型和交互场景。
2. 开发空间关系感知的代码生成框架，通过LLM分解复杂任务、推断空间约束（如工具功能轴对齐），并生成可执行的机器人动作代码。
3. 构建包含15种双机械臂协作任务的标准化基准（如锤击、物体堆叠、鞋盒整理等），整合仿真与真实世界数据，支持策略评估。

关键技术突破

1. 真实到仿真的数据生成：从2D图像生成高保真3D模型（含几何、法线、纹理），并通过特征点匹配实现同类物体的自动标注迁移。