IEEE GRSM 2025:Foundation Models for Remote Sensing and Earth Observation A Survey

遥感顶刊IEEE GRSM投稿综述流程 阅读详情

遥感(RS)是一项观测、监测和解读地球的关键技术,在地球科学、经济学及人道主义等领域具有广泛应用。尽管人工智能(AI)尤其是深度学习已在遥感领域取得重大进展,但开发更智能的遥感系统仍存在独特挑战:包括地球环境的复杂性、多样的传感器模态、独特的特征模式、变化的空间与光谱分辨率以及时序动态性。与此同时,大型基础模型(FMs)因其卓越的泛化能力和零样本迁移能力,已在多个领域展现出巨大潜力,但其成功目前主要局限于自然数据(如图像和视频),对各类非光学模态的遥感数据存在性能下降甚至失效的问题。这激发了日益增长的研究兴趣——开发遥感基础模型(RSFMs)以满足对地表、大气和海洋的地球观测(EO)任务的复杂需求。

本综述系统回顾了遥感基础模型这一新兴领域:首先概述其发展动机与背景,继而介绍基础概念;随后对现有RSFM研究进行分类评述,包括其在视觉基础模型(VFMs)、视觉-语言模型(VLMs)、大语言模型(LLMs)等方向的数据集与技术贡献;此外,我们在公开数据集上对这些模型进行基准测试,讨论现存挑战,并为这一快速演进领域提出未来研究方向。

Introduction

深度学习的快速发展为遥感及其地球观测应用带来了显著进步。然而当前大多数模型依赖显式设计的任务特定学习目标,这种方法需要大量人力进行数据集收集与标注,并消耗巨额计算资源进行模型训练与评估。此外,这些模型在不同任务间表现出有限的泛化与迁移能力,制约了遥感系统的广泛采用。源自多样传感器与平台的遥感数据具有大规模、复杂性、动态性和异构性等固有特征,以协同、鲁棒且通用的方式准确智能解译遥感数据,仍是推进遥感解译系统发展的关键且尚未充分探索的挑战。

随着深度学习持续演进,大型基础模型(FMs)已成为革命性趋势——其定义为"在广泛数据上训练(通常采用大规模自监督)、可适配(如微调)至下游任务的模型"[1]。包括大语言模型(LLMs)、视觉基础模型(VFMs)和视觉-语言模型(VLMs)在内的FMs,已在多样任务中展现出卓越的泛化与小样本迁移能力。这一转变标志着从单一用途模型向通用模型、从监督预训练向自监督预训练的范式转移,显著降低训练资源需求的同时扩展了模型应用范围。

然而这些进展主要集中于自然数据领域(如图像文本),在应用于遥感等分布外领域时面临重大挑战:例如遥感与自然图像在传感器模态、采集视角、空间分辨率、光谱波段和时间规律性等方面的本质差异,阻碍了FMs在遥感中的直接应用。尽管存在挑战,FMs在自然领域的成功为遥感基础模型(RSFMs)的发展提供了宝贵启示——其在利用大规模地理空间数据、建模复杂动态地表、提升数据效率、扩展应用范围、增强任务性能和降低碳足迹方面展现出巨大潜力。

开发RSFMs相比通用领域FMs面临四大关键挑战:1) 自然与遥感数据间的显著域差异;2) 缺乏海量预训练数据集;3) 缺失专为RSFMs定制的深度架构;4) 需解决不同于自然域通用FMs的独特遥感应用。为应对这些挑战,近期研究日益聚焦于开发先进RSFMs并更好地整合各类基础模型至遥感领域(如图1所示)。

在这里插入图片描述

尽管发展迅速,RSFMs领域仍缺乏对此新兴多维领域的全面综述。本文旨在通过系统梳理RSFMs最新进展填补该空白,从学习范式、数据集、技术方法、基准测试和未来研究方向等多视角展开探索。如图2所示,我们根据模型类型将现有方法分为三类:遥感视觉基础模型、遥感视觉-语言模型及其他RSFMs(如大语言模型与生成式基础模型),后续章节将详细评述这些类别。

在这里插入图片描述

本研究的主要贡献有三:首先对RSFMs最新进展进行全面系统回顾;其次在不同传感器模态与任务上对RSFMs进行基准测试与深度分析;最后指出研究挑战并提出潜在研究方向。

本综述结构如下:"背景"章节提供RSFMs背景知识,包括学习范式、常见遥感传感器模态及相关综述;"遥感基础模型基础"章节深入探讨深度网络架构与典型遥感解译任务;“遥感视觉基础模型”"遥感视觉-语言模型"和"其他遥感基础模型"章节系统回顾各类方法;"基准性能"章节总结比较现有方法在多基准数据集上的表现;最后"未来方向"章节展望RSFMs的前沿研究方向。

Background

Remote Sensing Learning Paradigms 遥感学习范式

本节简要概述遥感模型学习范式的演进历程:从传统机器学习到深度学习,最终发展至当前的基础模型范式。以下我们简要介绍每种范式,重点阐述其关键差异、技术进步以及对遥感任务的影响。

1) 传统机器学习:该范式依赖人工设计特征和简单学习模型,将特征分类至预定义类别。但这种方法极度依赖领域专业知识进行特征创建,对复杂遥感任务和场景效果有限,其可扩展性与泛化能力因此受到严重制约。

2) 深度学习从零训练与预测:深度学习通过端到端可训练的深度神经网络(DNNs)取代复杂特征工程,彻底变革了遥感解译,显著提升了模型精度与鲁棒性。该范式研究侧重于DNN架构设计,以从各类遥感传感器模态中提取有效特征用于地球观测任务。但仍存在三大挑战:①遥感DNNs专为特定任务定制,泛化能力有限;②从零训练导致收敛缓慢;③大规模训练数据收集与标注耗时费力且成本高昂。

在这里插入图片描述

3) 基础模型学习范式:如图3所示,基础模型学习通常包含两个主要阶段:①预训练阶段——模型学习可泛化、可迁移的表征;②应用阶段——将预训练模型应用于下游任务。

预训练阶段可分为两种常见方法:
◗ 监督预训练:在大规模标注数据集(如ImageNet[2])上使用监督损失目标预训练DNNs。虽在许多下游任务中达到最先进性能,但需要大量标注数据,收集成本高昂。
◗ 无监督预训练:利用自监督学习(SSL)[3][4]通过优化各种无监督pre-text任务,从未标注数据中学习有用且可迁移的表征。该方法在遥感领域尤具优势——卫星等平台上的众多传感器持续采集海量数据,几乎无法完成标注。但预训练模型可能无法直接适用于特定任务。

预训练阶段完成后,基础模型可通过三种常见方式应用:
◗ 全参数微调与预测:利用基础模型的强表征作为起点,为特定下游任务全参数微调以促进收敛提升性能。但会覆盖并丢失原始强表征。
◗ 参数高效调优(PEFT)与预测:与全微调不同,PEFT仅引入轻量可学习参数同时冻结基础模型主干,既能高效学习领域或任务特定特征,又保留基础模型的强表征空间。对于因数据分布差距和任务目标多样导致性能挑战的场景(如遥感),PEFT能在不损害基础模型能力的前提下适配领域与任务。
◗ 零样本预测:基于大规模数据训练的基础模型常展现强零样本预测能力,无需领域或任务特定微调即可预测。但由于自然与遥感数据间的显著域差异,基于自然数据集训练的通用领域基础模型在遥感场景中常表现不佳。加之缺乏网络级规模的遥感预训练数据集,目前尚无任何遥感基础模型能展现如通用领域基础模型般强大的零样本能力。

Common Remote Sensing Sensor Modalities 常见遥感传感器模态

本节概述现有遥感基础模型(RSFMs)常用的传感器模态,图4展示了这些模态的示例。

在这里插入图片描述

◗ 光学RGB图像(真彩色图像)是遥感中最广泛使用的传感器模态之一,通过部署在卫星、飞机、无人机和地面车辆等平台上的相机捕获红、绿、蓝光谱波段的可见光。虽然通用基础模型可直接应用于这些图像,但由于遥感与自然图像间的域差异,性能往往欠佳。

◗ 多光谱图像(MSIs) 通过多个光谱波段捕获数据,扩展至可见RGB范围之外,包含近红外(NIR)和短波红外区域。虽然比RGB提供更多光谱信息,但由于输入不兼容、域差异以及光谱数据复杂性增加,应用于通用基础模型时面临挑战。

◗ 高光谱图像(HSIs) 通过数十个狭窄连续的光谱波段捕获数据,相比多光谱和光学RGB图像能提供更精细的光谱信息。这种高光谱分辨率允许精确识别材料和物质,使高光谱传感器成为矿物勘探、植被分析和环境监测等任务的理想选择。然而高维度特性带来计算复杂度和过拟合风险等挑战,且独特的光谱特性与域差异使其难以兼容通用基础模型。

◗ 合成孔径雷达(SAR) 使用主动微波信号捕获图像,可实现全天候昼夜数据采集。SAR提供详细的地表信息,揭示地表结构与材料特性,对地形测绘、灾害监测和森林结构分析等应用具有重要价值。极化SAR(PolSAR)通过测量雷达波极化进一步增强SAR能力,提供更深入的地表特性理解;干涉SAR通过结合同一区域的多幅SAR图像进行相位差分析,可检测微小地表形变,对精确地形测绘至关重要。但SAR图像因斜距投影呈现独特几何特征,不同于传统中心投影系统,且其斑点噪声等复杂特性对通用基础模型构成重大挑战。

◗ 激光雷达点云 通过发射激光脉冲并测量其从表面反射返回的时间来捕获三维空间数据,可生成地形和物体的高精度三维表征,是地形测绘、森林结构分析和城市建模等任务的理想选择。尽管蕴含丰富几何信息,但点云的不规则与稀疏特性为通用基础模型应用于此类自然数据带来挑战。

◗ 热红外图像(TIR) 捕获物体散发的热量,提供基于温差的数据,使其在环境监测、城市热岛分析、植被健康评估和野火检测等应用中发挥价值。TIR传感器探测红外光谱的辐射发射,即使在弱光或夜间条件下也能实现热成像。但TIR图像的空间分辨率通常低于光学传感器,且数据受大气条件和表面发射率影响,为通用基础模型准确解译热信息带来挑战。

◗ 数字表面模型(DSMs) 表征地球表面高程(包含建筑物、植被和基础设施等所有物体),通常源自激光雷达、雷达或立体影像,广泛应用于城市规划、洪水建模和景观分析。虽然DSMs提供有价值的表面特征三维信息,但其网格状结构和高程特定数据对通用基础模型构成挑战。

Relevant Surveys 相关综述研究

本综述系统性地回顾并评估了跨遥感各领域的基础模型(FMs),包括视觉基础模型(VFMs)、视觉-语言模型(VLMs)、大语言模型(LLMs)、生成式基础模型及其他类型。虽然自然领域已有大量综述[1][11]涵盖多样化范围与应用(见表1),但这些研究并未专门针对地球科学与遥感模态。此外,现有地球科学与遥感相关综述多聚焦特定主题,如地球与气候遥感基础模型[7]、自监督学习[5][6]以及视觉-语言建模[12]。文献[10]虽对地球科学基础模型进行了广泛但宏观的回顾,但主要强调通用领域里程碑模型而非地球科学专项进展,缺乏对遥感与地球科学领域数据集资源和技术进展的深度分析,难以有效捕捉该领域最新发展动态。更重要的是,这些综述主要依赖定性分析,缺失全面评估所必需的定量基准测试。本研究旨在通过提供各类遥感基础模型与遥感模态的全面最新概述,重点突出领域最新进展,以弥补上述研究空白。

Foundations of Remote Sensing Foundation Models

基础模型(FMs)由两大核心技术要素支撑:迁移学习与规模效应[1]。迁移学习指利用从某一任务或模态获得的知识来提升其他任务性能,在深度学习中其主要实现方式是预训练——模型先在代理任务上训练,再针对特定下游任务微调。虽然迁移学习促进了基础模型的发展,但规模效应才是其能力提升的关键。这种规模效应取决于三个核心因素:1) 计算硬件(尤其是GPU)的进步;2) 深度学习架构的演进;3) 大规模训练数据集的可用性。

在"遥感视觉基础模型"、"遥感视觉-语言模型"和"其他遥感基础模型"章节中,我们将详细评述遥感基础模型(RSFMs)采用的预训练方法及其对应数据集。本节将首先在"深度网络架构"章节介绍基础深度架构,随后在"典型遥感解译任务"章节讨论最常见下游遥感任务。

Deep Network Architectures

【学术会议征稿】第六届地球科学与遥感测绘国际学术会议暨海洋信息技术与装备高峰论坛(GRSM 2024) 为交流近年来国内外在地球、地理科学和遥感测绘领域的理论、技术和应用的最新进展,展示最新成果,第六届地球科学与遥感测绘国际学术会议将于2024年10月25-27日在中国青岛召开,同时会议新增了海洋信息技术与装备高峰论坛,这一新的论坛板块将专注于海洋科学的技术创新,探讨海洋遥感、海底测绘技术、海洋数据分析及其在全球气候系统中的作用等关键技术和挑战。深海矿产资源勘探与开发技术、海洋装备与声呐系统、海洋目标探测识别与信息传输、海洋传感器及新材料、大数据与人工智能、物理声学与生物声学等)遥感数据的光子增强技术; 阅读详情

相关推荐

【FM-RS】FM-based Recommendation Model:FM、FFM

FM(Factorization Machines) ICDM’10 动机一:矩阵分解是一个很好的方法,但是我们似乎只能利用用户物品评分这一个信息,用户和物品辅助特征都不能利用起来。FM就就可以解决这个问题,把所有特征都用一个向量表示(latent factor)。不由得让人想起“万物皆可embedding”。 动机二:稀疏场景下,叉乘特征导致参数量爆炸,并且无法学习。这个是原论文里的动机。 真实场景例子 论文举了一个电影评分的例子,先来观察一下7个样本的矩阵: 很明显上图的左边一大块是特征,右边的Tar

chadlee 651

IEEE GRSM 2025:Vision Foundation Models in Remote Sensing

人工智能(AI)技术深刻改变了遥感(RS)领域的发展格局,在数据采集、处理与分析层面实现了革命性突破。传统遥感研究长期依赖人工解译和专用模型,而基础模型(FMs)——这种能够以极高精度和效率执行多任务的大规模预训练AI模型的出现,显著推动了该领域的发展。本文系统综述了遥感领域的基础模型研究:首先依据模型架构、预训练数据集和方法论对现有模型进行分类;通过详尽的性能对比,揭示了当前技术趋势与重大进展;进而探讨了高质量数据需求、计算资源约束、模型泛化能力提升等关键技术挑战与应用瓶颈。

practical_sharp的博客 985

arXiv 2025:A Survey on Remote Sensing Foundation Models: From Vision to Multimodality

由于自然图像与遥感图像之间存在模态差异,在自然图像上训练的模型难以在遥感任务上取得满意的结果。此外,由于遥感任务的专业性,获取标注的遥感图像较为困难。除了使用标注数据进行训练外,受MOCO [204] 等自监督对比学习方法的影响,一些方法开始探索通过对比学习在遥感图像上进行预训练的潜力。对比学习的关键在于构建正样本和负样本对的方法。对于遥感图像而言,时空对比至关重要。许多研究基于位置、季节等因素构建正负样本对,

practical_sharp的博客 2104

计算机视觉&点云处理学术指引

一 期刊 IEEE Transactions on Pattern Analysis & Machine Intelligence IEEE Computer Graphics and Applications 二 会议 IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS)

coldplayplay的博客 1286

学习遥感大模型(1)

根据非盈利组织忧思科学家联盟(The Union of Concerned Scientists),截止2023年1月,全球对地观测卫星在轨数目已超过1000颗。大量的对地观测卫星很大程度解决遥感数据匮乏的困境,随之而生的问题是海量遥感大数据需要更加智能的自动分析算法。大数据催生大模型,ChatGPT、SAM的涌现为遥感智能解译领域带来新的启发,能否基于海量遥感数据无监督地训练一个参数量巨大的强泛化性模型作为底座,通过极低成本的适配来服务于各个下游任务?

weixin_45827311的博客 4403

IEEE GRSM 2025:Vision-Language Modeling Meets Remote Sensing Models, datasets, and perspectives

—图像主要源自开源遥感图像数据集(见。

practical_sharp的博客 1787

别再魔改LWIP了!用STM32CubeMX配置F407的TCP保活(KeepAlive)与自动重连

本文详细介绍了如何通过STM32CubeMX配置STM32F407的LWIP协议栈,实现TCP保活(KeepAlive)与自动重连功能,解决网络异常断开问题。文章提供了从基础环境配置到自动重连架构设计的完整指南,帮助开发者构建高可靠的网络连接机制,适用于工业物联网和嵌入式设备开发。

weixin_27038245的博客 239

STM32CubeMx搭建LWIP程序

  使用STM32CubeMx5.21,在stm32f745平台上搭建ethernet通信程序,PHY选用KSZ8081RNB。(LAN8742/DP83848使用一样) 1、系统时钟设置   RCC设置,勾选外部高速时钟源。   系统时钟配置。写入外部晶振频率、HSE提供PLCCLK、HCLK,其他参数自动生成。 2、ETH设置   勾选设置NVIC。   根据硬件设置对应GPIO引脚。   参数设置默认   根据硬件设置PHY地址,其他参数默认。 3、LWIP设置   勾选使能,通用参数设置

Gandalf94的博客 3240

手把手教你用RV1103+SC3336摄像头DIY一个离线人脸门禁原型

本文详细介绍了如何利用RV1103芯片和SC3336摄像头构建离线人脸门禁系统。从硬件选型到算法优化,再到业务逻辑实现,提供了完整的DIY指南。重点讲解了RetinaFace和FaceNet算法在嵌入式系统中的移植与调优,帮助开发者快速实现高效、隐私安全的门禁解决方案。

weixin_26905487的博客 512

Autosar配置——导入DBC后配置SecOC同步报文和同步请求报文

在Autosar中,安全性是一个重要的考虑因素,而SecOC(Secure On-Board Communication)是一种用于保护通信数据完整性和安全性的安全机制。在上述示例中,我们配置了同步报文和同步请求报文的属性。接下来,我们需要在Autosar中配置同步报文和同步请求报文。同步报文用于在通信双方之间同步SecOC状态,而同步请求报文用于请求SecOC的状态信息。通过以上配置,我们成功地导入了DBC文件,并在Autosar系统中配置了SecOC同步报文和同步请求报文。希望以上信息对您有所帮助!

CyberSphinx的博客 651

OpenClaw 2026 路线图详解:3 大协作能力升级与社区贡献增长 62% 的实证分析

介绍 OpenClaw 2026 如何通过上下文锚定(Context Anchoring)、协作质量定义和责任边界机制,将 AI 编程工具从单点补全升级为嵌入代码生命周期的协作对齐系统,并详解 `.openclaw/config.yaml` 中 `context_anchor` 配置的实操方法与效果

weixin_42545292的博客 385

黑猫带你学eMMC协议第17篇:超详细的eMMC HS200 & HS400讲解

1 前言 1.1 声明 本文依据eMMC JEDEC5.1及个人工作经验整理而成,如有错误请留言。 本文结合eMMC JEDEC5.1协议手册查看效果更佳。 1.2 内容提要 本文大约6000字,主要内容有: 1.什么是emmc hs200/hs400? 2.什么是tuning?tuning的过程又是什么? 3.如何设置才能让emmc进入hs200 mode? 4.如何设置才能让emmc进入hs400 mode? 5.emmc关于HS200/HS400内部结构框图对比。 6.部分个人相关经验总结。

黑猫奥利奥的博客 1万+

RK3576 Buildroot 双机 ADB 异常排障实录:同版 `boot.img`,一台可识别一台不可识别

进程在跑”不等于“USB 枚举成功”,adbd存活只是必要不充分条件。生产环境中的全局别名可能反向污染系统脚本。shell 命令替换中的字符串问题,必须做字节级验证(od -tx1相比“改环境规避”,核心脚本对输入做鲁棒处理更可长期维护。

小灰灰的博客 215

基于 FPGA 的 CNN 卷积神经网络之池化层 Verilog 实现

池化层是卷积神经网络(CNN)中的关键组件,用于降低特征图的维度,减少计算量和防止过拟合。常见的池化操作包括最大池化和平均池化。FPGA 提供了高效的并行处理能力,可以加速这些操作。池化层在 CNN 中扮演重要角色,通过降低数据维度提升计算效率。在 FPGA 上实现池化层,可以充分利用硬件资源实现高效的并行计算,有助于提高实时应用中的推理速度。

走向CTO的路上... 1256

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

上一篇: IEEE GRSM 2025:Vision-Language Modeling Meets Remote Sensing Models, datasets, and perspectives
下一篇: IEEE GRSM 2024:Vision-Language Models in Remote Sensing Current progress and future trends
practical_sharp
博客等级 码龄8年 500粉丝 148原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值