Unlocking the Potential: Benchmarking Large Language Models in Water Engineering and Research

本文是LLM系列文章，针对《Unlocking the Potential: Benchmarking Large Language Models in Water Engineering and Research》的翻译。

摘要

大型语言模型 （LLM） 的最新进展引发了人们对它们在各个领域的潜在应用的兴趣。本文开始了一项关键的调查：现有的 LLM 能否有效地作为水工程和研究任务的“水专家模型”？这项研究首次通过建立特定领域的基准套件（即 WaterER）来评估 LLM 在各种水工程和研究任务中的贡献。在此，我们准备了 983 项与水工程与研究相关的任务，分为“废水处理”、“环境修复”、“饮用水处理”、“卫生”、“厌氧消化”和“污染物评估”。我们评估了 7 个 LLM（即 GPT-4、GPT-3.5、Gemini、GLM-4、ERNIE、QWEN 和 Llama3）在这些任务上的表现。我们强调了 GPT-4 在处理水工程和水研究等多样化和复杂任务方面的优势、Gemini 在学术环境中的专业能力、Llama3 回答中国水工程问题的最强能力以及 GLM-4、ERNIE