2025_NIPS_OpenHOI: Open-World Hand-Object Interaction Synthesis with Multimodal Large Language Model

OpenHOI 论文总结与核心部分翻译

一、文章主要内容

本文提出了OpenHOI，首个面向开放世界的3D手-物交互（HOI）合成框架，旨在解决现有方法在闭集场景下的局限性，实现对未见物体、开放词汇指令的长时程操作序列生成。其核心目标是为增强现实（AR）、虚拟现实（VR）、灵巧机器人等领域提供更具泛化性的交互合成能力。

核心技术框架

1. 3D多模态大语言模型（3D MLLM）微调：以ShapeLLM为骨干，通过“粗到细”的微调策略（先在大规模静态功能数据集上学习功能先验，再在动态HOI数据集上优化），实现两大核心功能：
   • 泛化性功能预测：精准定位已知/未见物体的交互区域（如手柄、按钮）；
   • 指令分解：将开放词汇指令（如“找水瓶喝一口”）拆解为可执行的子任务序列。
2. 功能驱动的扩散模型与物理优化：
   • 扩散模型以3D MLLM输出的功能图、子任务序列为条件，生成交互序列，结合无分类器引导（CFG）提升条件对齐度；
   • 无训练物理优化阶段：通过功能对齐损失、防穿透损失和过渡平滑损失，解决交互中的穿透问题和时序不连贯问题，无需额外训练即可保证物理合理性。

实验验证

• 数据集：基于GRAB（单双手交互）、ARCTIC（双手机巧交