FoundaBench: Evaluating Chinese Fundamental Knowledge Capabilities of Large Language Models

本文是LLM系列文章，针对《FoundaBench: Evaluating Chinese Fundamental Knowledge Capabilities of Large Language Models》的翻译。

摘要

在新兴的大型语言模型（LLMs）领域，基础知识的评估仍然是一个关键的挑战，特别是对于适合中国语言和文化的模型。本文介绍了FoundaBench，这是一个旨在严格评估中文LLM基础知识能力的开创性基准。FoundaBench包含3354道常识和K12教育科目的多项选择题，经过精心策划，反映了日常和学术知识的广度和深度。我们使用FoundaBench对12种最先进的LLM进行了广泛的评估，采用传统的评估方法和我们的CircularEval协议来减轻模型响应中的潜在偏差。我们的研究结果突出了在中文语料库上预训练的模型的优越性能，并揭示了模型的推理和记忆回忆能力之间存在显著差异。从FoundaBench评估中获得的见解为理解LLM的基础知识设定了新的标准，为该领域的未来发展提供了强有力的框架。

1 引言

2 相关工作

3 中文基础知识基准

4 实验

4.4 结论

本文介绍了FoundaBench，这是一个全面的基准，用于评估常识和K-12教育科目中大型语言模型的基础知识能力。这一基准通过跨越五个主要类别、18个子类别、35个学科和150个知识点的分类法得到了丰富，并得到