
文章核心总结与创新点
主要内容
本文提出Struct2D,一种感知引导的提示框架,通过鸟瞰图(BEV)、带标记的物体、物体中心元数据及可选的第一人称关键帧,让多模态大语言模型(MLLMs)仅依赖结构化2D输入就能完成3D空间推理任务。作者构建了含20万条QA对的Struct2D-Set数据集,覆盖8类空间推理任务,并用其微调开源模型Qwen2.5VL,在3D问答、密集字幕生成、目标接地等基准测试中取得竞争力表现,验证了无需显式3D输入即可实现高效空间推理的可行性。
核心创新点
- 提出结构化2D提示策略:将3D场景转化为BEV图像、物体标记和元数据(类别、坐标),无需显式3D表示即可支撑MLLMs的空间推理。
- 构建大规模指令微调数据集Struct2D-Set:基于6K个3D室内场景自动生成,含8类空间推理任务,通过ChatGPT增强推理轨迹并经人工校验。
- 验证零样本与微调双有效性:闭源模型GPT-o3在零样本场景下表现出强空间推理能力,微调后的开源模型Qwen2.5VL在多个基准上超越现有开源方法。
- 优化输入效率:仅需单张BEV
订阅专栏 解锁全文
727



被折叠的 条评论
为什么被折叠?



