URBAN SOCIO-SEMANTIC SEGMENTATION WITH VISION-LANGUAGE REASONING

文章总结与翻译

一、主要内容

该研究聚焦于城市社会语义分割这一新兴任务，核心是从卫星影像中分割出由社会属性定义的实体（如学校、公园、居民区等），而非传统的物理属性实体（如建筑物、水体）。这类社会语义实体的识别对城市规划、环境监测、导航推荐等下游应用至关重要，但因缺乏明确视觉特征、依赖社会语义信息，传统方法难以解决。

研究主要完成了三方面工作：

1. 构建SocioSeg数据集：首个城市社会语义分割基准数据集，包含卫星影像、数字地图和像素级标签，采用三级分层任务设计（社会名称分割、社会类别分割、社会功能分割），涵盖5000+社会名称、90+社会类别和10+社会功能，通过统一的数字地图层整合多模态地理空间数据，解决了数据获取、对齐和异质性问题。
2. 提出SocioReasoner框架：一种模拟人类标注流程的视觉-语言推理框架，采用两阶段“渲染-优化”推理策略：第一阶段通过卫星影像和数字地图生成边界框提示，定位目标区域并得到初步粗分割结果；第二阶段将粗分割结果反馈给模型，生成边界框和点提示，优化分割边界，最终输出高精度结果。
3. 强化学习优化：针对框架的非可微特性，采用GRPO（Group Relative Policy Optimization）强化学习算法进行端到端训练，设计多维度奖励函数（格