2025_NIPS_G3: An Effective and Adaptive Framework for Worldwide Geolocalization Using Large Multi...

文章总结与翻译

一、主要内容

本文针对全球图像地理定位任务（在地球任意位置拍摄的照片中精准定位坐标级位置）面临的两大核心挑战——难以捕捉细微的位置感知视觉语义、图像数据地理分布异质性，提出了一种基于检索增强生成（RAG）的新型框架G3。该框架通过“地理对齐（Geo-alignment）、地理多样化（Geo-diversification）、地理验证（Geo-verification）”三步流程，同时优化地理定位的检索和生成阶段，具体内容如下：

1. 数据库构建阶段：通过Geo-alignment实现图像、GPS坐标和文本描述的多模态联合表征学习，将地理信息融入图像表示中，解决传统视觉表征难以体现位置语义的问题；同时构建了新增文本地理描述的MP16-Pro数据集，为位置感知视觉表征学习提供支持。
2. 位置预测阶段：首先基于近邻搜索从数据库中检索相似图像；再通过Geo-diversification采用提示集成方法，生成多样化GPS候选集，应对不同查询图像检索性能不一致的问题；最后通过Geo-verification结合检索到的候选集和生成的候选集，利用学到的多模态表征筛选最优预测结果。
3. 实验验证：在IM2GPS3k和YFCC4k两个公开数据集上进行实验，G3在几乎所有评估指标（1km、25km、200km、750km、2500km距离阈值下的准确率）上均优于现有最先进方法；消融实验验证了Geo-alignment、Geo-diversification、Geo-verification三个模块的必要性；同时通过超