2025_NIPS_MMCSBench: A Fine-Grained Benchmark for Large Vision-Language Models in Camouflage Scenes

SAM-R1 文章总结与核心翻译

一、主要内容总结

1. 研究背景与问题

• 多模态大模型（MLLMs）在视觉理解任务中取得显著进展，但在多模态分割等细粒度感知任务中，现有方法存在两大核心问题：一是严重依赖大规模人工标注数据集（含显式推理过程标注），成本高且易导致灾难性遗忘；二是难以精准解读模糊复杂的文本查询，缺乏与分割任务对齐的细粒度推理能力。
• 强化学习（RL）已被证明可在无需推理标注数据的情况下增强大模型推理能力，但现有分割相关RL方法存在奖励设计粗糙、推理与分割模块解耦等问题，易引发奖励欺骗（reward hacking）。

2. 核心方法：SAM-R1框架

• 提出一种基于强化学习的端到端框架，专为推理分割任务设计，将细粒度分割设置融入多模态推理模型训练。
• 关键组件：
  1. 奖励函数设计：引入基于SAM（Segment Anything Model）的分层分割精度奖励（通过IoU计算），同时包含推理格式奖励和分割格式奖励，实现细粒度、任务对齐的反馈。
  2. 优化目标改进：改进GRPO（Group Relative Policy O