OmniGenBench: Automating Large-scale in-silico Benchmarking for Genomic Foundation Models-优快云博客

本文是LLM系列文章，针对《OmniGenBench: Automating Large-scale in-silico Benchmarking for Genomic Foundation Models》的翻译。

OmniGenBench：基因组基础模型的大规模计算机基准测试自动化

摘要
1 引言
2 OmniGenBench
3 基准结果
4 相关工作
5 结论

摘要

近年来人工智能的进步，如大型语言模型（LLMs），激发了人们对基因组基础模型（GFMs）突破的期望。自生命进化之初就隐藏在各种基因组中的自然密码，通过基因组建模对人类和生态系统的影响具有巨大的潜力。最近在GFM方面的突破，如Evo，吸引了对基因组建模的大量投资和关注，因为它们解决了长期存在的挑战，并将计算机基因组研究转化为自动化、可靠和高效的范式。在基因组学连续技术革命的繁荣时代，GFM研究面临两大挑战：缺乏GFM基准工具和缺乏用于多种基因组学的开源软件。这些挑战阻碍了GFM的快速进化及其在理解和合成基因组等任务中的广泛应用，这些问题已经持续了几十年。为了应对这些挑战，我们引入了OmniGenBench，这是一个专门用于面向GFM的基准测试的框架。OmniGenBench标准化了基准套件，并自动化了各种开源GFM的基准测试。它整合了来自四个大规模基准的数百个基因组任务中的数百万个基因组序列，使GFM在广泛的计算机基因组应用中民主化。此外，OmniGenBench作为开源软件发布，提供用户友好的界面和多样化的教程，适用于AutoBench和RNA设计和结构预测等复杂任务。为了促进基因组建模的进一步发展，我们推出了一个公共排行榜，展示了AutoBench的基准性能。OmniGenBench代表了GFM基准测试标准化和GFM应用程序民主化的一步。