GEOGALACTICA：A SCIENTIFIC LARGE LANGUAGE MODEL IN GEOSCIENCE-优快云博客

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136150892

GEOGALACTICA是一个专为地球科学设计的300亿参数的语言模型，通过在大量地球科学文本上预训练并使用专业指令微调，展现出在地球科学NLP任务中的优越性能。它在地球科学考试和开放问题上验证了其先进性，并有望推动地球科学领域的AI发展。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《GEOGALACTICA：A SCIENTIFIC LARGE LANGUAGE MODEL
IN GEOSCIENCE》的翻译。

摘要

大型语言模型（LLM）以其通用知识和解决自然语言处理（NLP）中广泛任务的能力取得了巨大成功。由于其令人印象深刻的能力，LLM揭示了通过使用人工智能（AI for science，AI4S）促进特定领域科学发现的潜在跨学科应用。同时，在地学研究和实践中使用NLP技术是广泛而复杂的，从知识提取和文档分类到问题回答和知识发现都有贡献。在这项工作中，我们通过一种相当直接的方法，迈出了利用LLM进行科学研究的第一步。我们试图将开源LLM专门用于地球科学，方法是用地球科学中的大量文本进一步预训练模型，并用我们定制的收集指令调整数据集对结果模型进行监督微调（SFT）。这些努力产生了一个由300亿个参数组成的GEOGALACTICA模型。据我们所知，它是地球科学领域最大的语言模型。更具体地说，GEOGALACTICA来自Galactica的进一步预训练，Galactica是一个使用大量科学文件进行训练的顶级LLM。我们在一个地球科学相关文本语料库上训练GEOGALACTICA，该语料库包含650亿个token，这些token是从大型科学项目“深度数字地球”（DDE）