SeisMoLLM: Advancing Seismic Monitoring via Cross-modal Transfer with Pre-trained Large Language

摘要

深度学习的最新进展给地震监测带来了革命性变化，但开发一个能在多个复杂任务中表现出色的基础模型仍然充满挑战，尤其是在处理信号退化或数据稀缺的情况时。本文提出SeisMoLLM，这是首个利用跨模态迁移进行地震监测的基础模型，它无需在地震数据集上进行直接预训练，就能充分发挥大规模预训练大语言模型的强大能力。通过精心设计的波形标记化处理和对预训练GPT-2模型的微调，SeisMoLLM在DiTing和STEAD数据集上的五个关键任务（反方位角估计、震中距离估计、震级估计、震相拾取和初动极性分类）中取得了最先进的成绩。它在43个任务指标中获得了36个最佳结果，在16个少样本泛化指标中获得了12个最高分，许多相对改进幅度在10%到50%之间。除了卓越的性能，SeisMoLLM在训练和推理过程中的效率与轻量级模型相当，甚至更优。这些研究结果表明，SeisMoLLM是一个极具前景的实用地震监测基础模型，也凸显了跨模态迁移是地震研究中一个令人振奋的新方向，展示了先进深度学习技术推动地震学研究向前发展的潜力。

引言

地震监测能对地震影响进行近实时分析，在支持地震预警系统保障公众安全方面发挥着重要作用。它还有助于创建详细的地震信息目录，这对于推进地震活动研究和增进我们对地震行为的理解至关重要。近几十年来，深度学习（DL）技术的兴起给地震监测带来了革命性变化。基于深度学习的方法始终优于传统方法，在各种地震学任务中取得了显著成功，如地震检测、震相拾取、地震震级估计以及震中距离和反方位角的位置参数估计，还有初动极性分类。尽管这些方法取得了成功，但它们总是面临着与普通监督训练方法相关的一系列固有挑战，例如在像地震定位这样的高度复杂任务中存在性能瓶颈，在具有挑战性的场景中难以获得