IEEE GRSM 2024：When Geoscience Meets Foundation Models：Toward a general geoscience artificial intell

人工智能（AI）已显著推动地球科学的发展，但在全面模拟地球复杂动力学方面的潜力尚未完全实现。地球科学基础模型（GFMs）作为一种范式变革性解决方案应运而生，其通过整合广泛的跨学科数据，提升对地球系统动力学的模拟与理解能力。这些以数据为中心的人工智能（DCAI）模型从海量结构化和非结构化数据中提取信息，有效应对了传统模型难以捕捉的地球系统复杂性。

GFMs 的独特优势包括灵活的任务指定能力、多样化的输入-输出功能以及多模态知识表征，使其能够开展超越单一数据源或传统 AI 方法的综合分析。本综述不仅重点介绍了 GFMs 的关键优势，还阐述了构建此类模型的核心技术，尤其关注 Transformer 架构、预训练策略与自适应方法。随后，我们审视了 GFMs 的最新进展，包括大语言模型（LLMs）、视觉模型、视觉-语言模型（VLMs）以及基于基础模型的智能体，特别强调了其在遥感（RS）领域的潜在应用。

此外，本综述还对 GFMs 面临的挑战和未来趋势进行了全面分析，涵盖五个关键方面：数据集成、模型复杂性、不确定性量化、跨学科合作，以及与隐私、信任和安全相关的问题。本文系统梳理了新兴的地球科学研究范式，强调了先进 AI 技术与地球科学交叉领域中尚未开发的机遇，重点考察了主要方法论，展示了大尺度模型的进展，并讨论了将塑造 GFMs 未来发展的挑战与前景。本文指出这一领域充满动态与可能性，有望为深入理解地球复杂系统、推动地球科学探索提供新见解。

Introduction

随着地球科学进入大数据时代，人工智能不仅展现出解决经典地学问题、增强对地球复杂多尺度交互过程理解的巨大潜力[1][2]，其应用已深入数据驱动的地球系统科学领域。目前地球系统数据总量已超数十拍字节（PB），且每日新增数据达数百太字节（TB），为AI技术广泛应用奠定了基础[3][4]。AI不仅通过实时地震数据分析提升了对地震和火山喷发等地质事件的认知能力，还在地球系统模型的偏差校正和升尺度处理中发挥重要价值[1][5][6][7][8]。机器学习方法支持矿产和石油等自然资源的勘探与制图，在提高精度的同时最大限度降低了采矿和钻探活动的生态影响[9][10][11]。此外，深度学习算法在气候建模和天气预报中的应用，对于理解气候变化效应、优化气象预测、加强灾害管理与应急准备具有关键作用[12][13][14][15][16][17]。AI在处理和解释海量卫星影像与传感器数据方面的先进能力，也为环境监测与保护做出重大贡献，支撑了环境监测、土地覆盖分类、城市规划、灾害响应和气候变化分析等一系列关键应用[18][19][20][21]。

尽管AI技术在地球科学中取得显著成果，其应用仍面临严峻挑战和固有局限。首要问题是对大规模高质量数据集的依赖——由于地球系统的复杂多变性，地学学科中这类数据往往稀缺或不完整[22][23]。此外，当AI模型在不同地质环境间迁移时，其泛化能力常大打折扣。这种对特定训练数据的依赖会导致模型在新环境或认知不足区域应用时产生显著误差[24][25][26]。另一关键局限在于AI输出的可解释性：要使AI驱动的洞察有效融入地学研究和实际应用，其决策过程必须透明可理解，从而增强地学家的信任与采纳意愿[27][28][29]。为应对这些挑战，开发更大规模、更鲁棒的模型已成为推进数据驱动地球系统科学的迫切需求。

近年来，基础模型（FMs）通过在海量数据上进行预训练并针对具体任务微调，已成为解决众多以数据为中心的复杂任务的关键工具[30]。FMs展现出前所未有的涌现能力，包括情境推理、复杂问题解决和零样本跨任务适应性，这些能力源于先进算法、大规模训练数据和复杂神经网络架构的驱动[31][32][33][34]。FMs的泛化能力使其明显区别于传统AI模型——后者仅局限于特定单一任务，且在跨任务场景下表现有限。相比之下，FMs在广泛多样的数据集上进行了大规模预训练，从而能够形成对语言和视觉数据的全面表征[35]。例如，截至2024年，ChatGPT-4[36]和Claude-3/3.5[37][38]等大语言模型（LLMs）已整合视觉、语音和知识图谱能力，其生成的文本与人类写作无异，并能根据多样化提示生成图像和计算机代码，给用户留下深刻印象[16][33][39][40]。此外，许多现代FMs能够同时处理图像和文本，在医疗、交通、遥感和城市规划等领域得到广泛应用[41][42][43][44][45][46]。鉴于此类技术的变革潜力，开发专门针对地球科学的基础模型（GFMs）势在必行，这类模型可通过提供对复杂地球系统的深度可操作洞察，彻底改变领域研究范式。

尽管已有初步尝试开发GFMs[8][45][46][47][48][49][50]，但其在地球科学AI中的广泛采用仍然有限。GFMs发展缓慢的原因在于多源多模态地学数据获取与处理的持续挑战、地球系统固有的复杂性以及当前AI技术的固有局限[51][52][53]。然而，特定任务驱动的研究范式仍是地学AI的主流。GFMs的创新可能会彻底改变地学家处理和解译数据的方式，从而在可持续性、气候变化、极端天气事件、自然灾害和环境监测等关键研究领域提升精度和影响力[54][55][56]。因此，采用适应性强、多层面的FMs取代狭窄静态的特定任务模型，不仅有望为地球科学提供新洞察和能力，更将彻底改变我们对复杂地球系统的理解，推动跨学科研究创新，并以更精准和前瞻的方式应对全球性挑战。

本研究系统追溯了AI在地球科学中的应用演进，指出传统AI方法的局限性，强调了FMs在地学中日益增长的重要性，分析了这些模型对地学研究范式的变革性影响，并探讨了GFMs的潜在研究方向。研究进一步阐述了GFMs的独特能力，包括对多样化任务的适应性、多模态数据处理能力以及复杂地学知识的无缝整合。这些特性共同证明了GFMs在重塑任务定义、增强多模态能力和强化地学知识表征方面的潜力，从而为地球科学AI确立新的范式与标准。

Existing Surveys and Reviews

表1对现有与地球科学基础模型（FMs）相关的综述与评述研究进行了系统梳理。这些发表于2023至2024年间的研究，分别从遥感、城市科学、视觉语言模型（VLMs）、生成式人工智能（GAI）、地球物理基础模型（GeoFMs）及地理空间位置嵌入（GLE）等多个维度探讨了地学FMs的不同方面。例如，Jiao等人[57]提出了一种面向遥感基础模型的类脑启发框架；Zhang团队[58]在一篇中文出版物中系统综述了大型遥感模型的预训练技术；研究[55]通过引入城市基础模型丰富了智慧城市的研究体系；文献[45]深入探讨了视觉语言模型与遥感交叉领域；Hadid等人领衔的研究组[59]深入探索了GAI与大语言模型（LLMs）在地球科学中的潜力；研究[60]在一篇视角论文中针对勘探地球物理中的GeoFMs展开了发人深省的讨论。

Zhou等人[61]率先对视觉-语言地理基础模型进行了全面综述；文献[62]的作者则针对LLMs中的地理空间位置嵌入开展了开创性研究。然而，目前仍缺乏一项能够整合这些多元视角、呈现领域全貌的系统性综述。本文旨在填补这一空白，全面总结地学基础模型（GFMs）的关键优势、应用场景、技术方法与发展动态，并深入探讨GFMs在地球科学中面临的挑战与未来趋势，强调这些模型为地球系统科学带来革命性变化的潜力。

Contribution and Organization

尽管关于地球科学基础模型（FMs）的研究文献日益增多，该领域仍处于发展初期，存在大量待解决的研究问题与挑战。表1对现有地学FMs相关综述研究进行了概括，这些研究涵盖了遥感、城市科学、视觉语言模型（VLMs）、生成式人工智能（GAI）、地球物理基础模型（GeoFMs）及地理空间位置嵌入（GLE）等多个方向。然而，目前仍缺乏能够整合这些多元视角、系统呈现领域全貌的综合评述。本文分析了地学基础模型（GFMs）的发展与现状，重点探讨其在地球系统科学中的实现方法与实践应用，并讨论了这一快速发展领域面临的未来趋势与挑战。本文的主要贡献如下：

全面综述GFMs的关键维度
本综述从核心优势、典型应用、关键技术与重要进展四个方面对GFMs进行了系统梳理，同时讨论了地学GFMs面临的挑战与未来趋势，强调了这些模型推动地球系统科学变革的潜力。

提出AI基础模型与地学知识融合的新范式
研究通过整合AI基础模型与专门地学知识，应对地学数据独特的时空复杂性和跨学科特性，致力于构建能够处理空、天、地、海多领域任务的通用地学AI系统。这一融合提升了AI模型在地学中的可扩展性与泛化能力，有望彻底改变研究者应对复杂地球科学问题的方式。

系统总结GFMs重点进展与遥感应用
我们对GFMs的关键进展进行了全面回顾，包括大语言模型（LLMs）、大规模视觉模型（LVMs）、大规模视觉-语言模型（LVLMs）及基于基础模型的智能体，尤其聚焦其在遥感领域的应用，并探讨了GFMs通过提供对复杂地球系统的深度可操作洞察以推动地球系统科学变革的潜力。

深入分析挑战与未来趋势
研究对GFMs面临的关键挑战进行了透彻分析，包括数据复杂性、模型可解释性、不确定性量化、跨学科合作以及隐私、信任和安全问题。这一前瞻视角为快速发展的地学AI领域提供了战略发展与创新方向的指引。

本文其余部分组织结构如下（参见图1）：

“地学基础模型的核心优势”部分探讨GFMs的主要优势，包括以数据为中心的范式、可扩展性、泛化能力、动态交互及因果推理；

“地学基础模型的关键应用”部分探索GFMs在地球科学空、天、地、海领域的潜在应用；

“构建地学基础模型的关键技术”部分介绍地学领域知识及GFMs在地球科学中的潜在应用；

“近期地学基础模型的重要进展”部分呈现GFMs最新进展，包括LLMs、LVMs、LVLMs及基于基础模型的智能体，特别是遥感应用；

“挑战与未来趋势”部分讨论GFMs面临的挑战与发展方向；

最后，“结论”部分对全文进行总结。

Key Advantages of Geoscience Foundation Models

在本节中，我们从新范式、地学领域知识及应用领域三个维度探讨地学基础模型（GFMs）的核心优势。以数据为中心的人工智能（DCAI）、强大的能力与泛化性以及动态交互特性，共同使GFMs成为一种区别于传统AI的新范式。地学领域知识——包括学术文献、地质数据和知识图谱——进一步增强了GFMs的能力。同时，我们还讨论了GFMs在地球科学空、天、地、海四大领域的应用前景。

Foundation Models：A New Paradigm

机器学习与深度学习技术已被广泛应用于解决地球系统科学中的各类问题[1][3][63][64]。机器学习侧重于“如何”定义数据特征并利用学习算法进行决策，而深度学习则通过设计特定架构自动推断“特征”。基础模型（FMs）则聚焦于利用大规模预训练模型实现情境学习等功能，其依赖于海量多样化数据、大型预训练模型和自监督训练，同时也表现出更大的计算需求。

以数据为中心的人工智能（DCAI）
传统机器学习方法致力于为预定义数据集开发模型与算法，深度学习尤其关注无监督学习任务。然而，实际应用常需处理含噪声和不完美数据以及不确定标签。通过优化数据本身而非将数据集视为固定不变，可大幅提升模型性能。这催生了新兴的DCAI领域，其目标是系统化地构建更优质数据集以提升模型表现。尽管资深数据科学家长期依赖直觉以临时方式手动整理数据，DCAI致力于为数据集优化建立更形式化、客观的原则与技术。这代表了一种范式转变：从将数据视为模型的静态输入，转向以集成方式共同开发数据集与模型。DCAI的进一步研究可能催生改进数据收集、自动数据清洗、标注、增强和表征学习的新方法，从而使整个机器学习过程更加稳健高效。

受非地学领域基础模型的启发，我们总结了地学基础模型（GFMs）区别于传统地学机器学习和深度学习模型的三大特征。首先，使用GFMs处理新任务将像用自然语言（如英语或其他语言）描述任务一样简单。GFMs能够通过动态任务指定应对前所未见的挑战，无需重新训练即可理解并解决新任务。其次，GFMs可利用不同数据模态的组合接受输入并生成输出。这种灵活性允许将视频、图像、声音、文本、实验结果或其任意组合纳入模型，与传统多模态模型的严格限制形成鲜明对比。第三，GFMs将采用形式化的地学知识表示，使其能够对未知任务进行推理，并使用地学准确的语言提供解释。

可扩展性与泛化能力
基础模型（FMs）包含海量数据、大规模模型（需巨大算力）和自训练机制，这一切使其能够支持广泛应用并展现出卓越的可扩展性与泛化能力。可扩展性体现在数据、模型规模和计算能力三个关键维度，而泛化能力指模型在训练数据之外的新任务上表现良好的能力。

可扩展性
首先，FMs在海量数据集上训练，常包含数千亿数据样本。模型从这些广阔数据中受益，能够学习极其广泛的模式。其次，模型本身规模巨大，常拥有数十亿甚至数万亿参数。通过增加模型容量，可从广泛数据中学到更精细的表征。最后，训练和运行这些巨大模型需消耗大量计算资源，通常使用数千个GPU/张量处理单元（TPU）组成并行计算网格。这些共同促成了前所未有的可扩展性，使FMs能够实现有限数据和传统深度学习模型无法达到的能力。其可扩展性支撑了它们在各种下游任务中的多功能性。

泛化能力
FMs因其训练方法展现出强大的泛化能力。具体而言，FMs以自监督方式在不同数据集上预训练，学习语言、视觉、机器人或其他模态的广泛表征。这不同于传统监督学习（模型针对特定标注数据集定制）。自监督预训练赋予FMs广泛的世界知识和多功能性。随后，预训练模型可使用相对较少的标注数据适应和微调以应对无数下游任务。即使是未见过的任务，也可在零样本设置中潜在解决，无需任何下游数据。其灵活性和广泛适用性凸显了FMs跨领域的泛化能力，这种能力源于自监督预训练，使其能够适应新的分布和任务。

动态交互
传统AI模型仅限于一种或几种数据类型作为输入，甚至对数据形态敏感（例如，由于卷积操作限制，2D和3D数据通常无法在同一模型中处理）。此外，AI模型总是为特定任务（如图像分类或目标检测）设计。这些限制约束了传统机器学习和深度学习模型的应用，因此需进一步发展GFMs以支持处理多模态、多类型输入和输出，从而执行灵活任务。

多模态输入与输出
GFMs旨在表征和理解地球内部、地壳、地表及大气的物理过程与属性。这些模型接收多种类型的输入数据（多模态输入），包括地震数据、重力数据、热流测量、实验室流变数据、气象数据以及来自遥感等地表数据。每种数据类型为地球系统的不同方面提供约束。模型可生成多种类型的输出（多模态输出），包括合成地震波、温度/压力场、地表位移图等。处理多模态数据使模型能够利用不同地球物理观测提供的互补约束，与使用单一数据类型相比，这可减少非唯一性和模糊性。

灵活任务
GFMs旨在表征地球系统中的复杂自然过程，如地幔对流、地壳变形、地下水流、海洋与大气动力学以及植被变化。这些过程在多个时空尺度上以非线性方式相互作用。GFMs可被教导灵活指定新任务而无需重新训练模型。例如，通过在历史气候数据上训练实现天气预测模型，该模型也有助于预测降雨引发的浅层滑坡。

因果推断
将GFMs集成到地球过程与现象探索中，标志着我们识别和理解地学知识中固有复杂因果关系能力的 transformative 转变[65]。通过利用从卫星图像、传感器数据到历史气候记录和地质样本等多源多模态数据，GFMs提供了一种既整体又细致的地球系统建模新方法。这种全面的数据集成使GFMs能够捕捉地球系统组件的复杂性和互联性。例如，通过分析大气数据、海洋温度和土地利用变化中的模式，GFMs可帮助研究人员识别驱动气候变化的潜在因果机制，如温室气体排放与全球变暖之间的反馈循环[66][67]。同样，在自然灾害背景下，GFMs可阐明单一事件的级联效应，如地震如何引发海啸，进而影响海岸侵蚀和沉积物运输。

GFMs阐明地学因果关系的潜力基于其处理和分析传统分析方法无法应对的庞大数据集的能力。通过先进的机器学习技术，GFMs可检测这些数据中的模式和相关性，提出关于因果链接的假设，并可通过实证研究或模拟模型进一步检验。这不仅加速了新知识的发现，也增强了我们预测未来地球系统变化、为政策和决策提供信息的能力。此外，GFMs整合新源数据并实时更新模型的灵活性，允许随着新证据的出现持续完善我们对因果关系的理解。这种适应性在地球科学中至关重要，因为地球系统的持续变化和数据收集技术的进步不断演变着可用信息的 landscape。

Geoscience Domain Knowledge

如图2所示，地球科学涵盖了研究地球物质组成与过程的多个领域，核心学科包括地质学、地理学、地球物理学、水文学、海洋学、气象学及行星科学等。每个领域都积累了关于地球