文章主要内容和创新点总结
主要内容
本文针对计算机视觉中的感知任务,提出了一个名为MVP-LM(Multi-granular and Versatile Perception framework incorporating Visual Large Language Model) 的统一框架。
- 感知任务可按两个维度分为四类:预测类型(边界框/掩码)和指令类型(基于词/基于句子)。现有研究多仅覆盖部分任务组合,限制了通用性。
- MVP-LM通过整合多粒度解码器、Chain-of-Thought(CoT)启发的数据集统一策略和查询增强策略,实现了在单一架构中处理全景分割、目标检测、视觉定位、指代表达式分割等多类任务。
- 实验表明,MVP-LM在词级和句子级感知任务的多个基准测试中表现优异,验证了其有效性。
创新点
- 框架设计:提出MVP-LM框架,利用视觉大语言模型(VLLM)的解码和生成能力,统一处理词级和句子级感知任务,支持边界框和掩码的多粒度预测。
- 数据集统一:基于CoT思想设计数据集整理策略,将不同任务的数据集转换为统一的有监督微调(SFT)格式,鼓励模型采用“先思考后感知”的范式。
- 查询增强:设计动态查询生成策略,结合LLM生成的序列特征优化视觉查询,提升解码精度。
- 性能验证:在多个
订阅专栏 解锁全文
1325



被折叠的 条评论
为什么被折叠?



