GEOGALACTICA：A SCIENTIFIC LARGE LANGUAGE MODEL IN GEOSCIENCE

本文是LLM系列文章，针对《GEOGALACTICA：A SCIENTIFIC LARGE LANGUAGE MODEL
IN GEOSCIENCE》的翻译。

摘要

大型语言模型（LLM）以其通用知识和解决自然语言处理（NLP）中广泛任务的能力取得了巨大成功。由于其令人印象深刻的能力，LLM揭示了通过使用人工智能（AI for science，AI4S）促进特定领域科学发现的潜在跨学科应用。同时，在地学研究和实践中使用NLP技术是广泛而复杂的，从知识提取和文档分类到问题回答和知识发现都有贡献。在这项工作中，我们通过一种相当直接的方法，迈出了利用LLM进行科学研究的第一步。我们试图将开源LLM专门用于地球科学，方法是用地球科学中的大量文本进一步预训练模型，并用我们定制的收集指令调整数据集对结果模型进行监督微调（SFT）。这些努力产生了一个由300亿个参数组成的GEOGALACTICA模型。据我们所知，它是地球科学领域最大的语言模型。更具体地说，GEOGALACTICA来自Galactica的进一步预训练，Galactica是一个使用大量科学文件进行训练的顶级LLM。我们在一个地球科学相关文本语料库上训练GEOGALACTICA，该语料库包含650亿个token，这些token是从大型科学项目“深度数字地球”（DDE）中的广泛数据源中策划的，保留为最大的地球科学特定文本语料库。然后，我们用100万对指令调整数据对模型进行微调，这些数据由需要专业地球科学知识回答的问题组成。我们在一组资深地球科学家评估的各种地球科学考试和与地球科学相关的开放领域问题上验证了GEOGALACTICA。GEOGALACTICA展示了地球科学中各种NLP任务的最先进性能，并揭示了使用地球科学工具的潜力。在本技术报告中，我们将详细说明GEOGALACTICA的各个方面，包括数据收集、数据清理、基础模型选择、预训练、SFT和评估。在前3/4预训练期间，我们开源了我们的数据管理工具和GEO