2025_NIPS_GeoLLaVA-8K: Scaling Remote-Sensing Multimodal Large Language Models to 8K Resolution

文章核心总结与创新点

主要内容

本文针对超高分辨率（UHR）遥感（RS）图像的多模态理解难题，提出了覆盖22类真实对话任务的高分辨率数据集SuperRS-VQA（平均8376×8378）和HighRS-VQA（平均2000×1912），解决了UHR训练数据稀缺问题。针对UHR图像导致的视觉令牌爆炸问题，提出背景令牌修剪（Background Token Pruning）和锚定令牌选择（Anchored Token Selection）两种压缩策略，在保留关键语义的同时降低计算开销。基于LLaVA框架开发了首个支持8K×8K分辨率输入的遥感专用多模态大模型GeoLLaVA-8K，在XLRS-Bench基准测试中取得当前最优性能，超越现有开源和闭源模型。

创新点

1. 构建了目前遥感领域分辨率最高的视觉语言数据集，填补了UHR遥感图像-文本训练数据的空白，覆盖感知和推理两大维度的22个子任务。
2. 揭示了遥感图像的低语义密度特性，即背景令牌冗余、关键目标信息集中在少量对象令牌中，为令牌优化提供理论依据。
3. 提出针对性的令牌压缩双策略，有效解决UHR图像的计算开销大和语义稀疏问题，实现高效建模。
4. 开发首个支持8K分辨率的遥感专用多模态大模型，在超高清遥感任务中表现出卓越的感知、推理和泛化能力。

---

翻译部分（Markdown格式）

Abstract

超高分辨率（UHR）遥感（RS