Franka × VLMgineer：以大模型之力，首拓机器人硬件新领域

研究背景

本文以Franka Research 3机械臂为核心载体，聚焦机器人在复杂操作任务中对工具的创造性设计与高效使用问题。

 

在传统的机器人研究中，多侧重于优化控制策略，而工具设计往往依赖人工，这在一定程度上限制了机器人在超出自身能力范围任务中的表现。

为此，研究人员提出了VLMGINEER框架。该框架结合视觉语言模型（VLM）的创造力与进化搜索算法，实现了工具与动作计划的协同设计，成功解决了传统方法中工具设计依赖人工、泛化能力弱、控制与工具设计脱节等问题。

实验设置

核心硬件

采用Franka Research 3机械臂作为标准载体，将其默认两指夹爪作为基线对比，工具通过末端执行器接口连接。

感知与模拟环境

• 环境通过PyBullet物理引擎模拟，并集成overhead相机以提供场景视觉输入。

• 无需额外外部传感器，依赖模拟环境的状态反馈（如物体位置、姿态）评估任务完成度。

软件框架

基于Python实现，VLM采用gemini-2.5-pro-prev