C3BENCH: A COMPREHENSIVE CLASSICAL CHINESE UNDERSTANDING BENCHMARK FOR LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《C3BENCH: A COMPREHENSIVE CLASSICAL CHINESE UNDERSTANDING BENCHMARK FOR LARGE LANGUAGE MODELS》的翻译。

摘要

中国古典理解 （CCU） 在保存和探索杰出的中国传统文化方面具有重要价值。最近，研究人员试图通过利用大型语言模型 （LLM） 非凡的理解和语义能力来利用 CCU 的潜力。但是，没有全面的基准可用于评估 LLM 的 CCU 功能。为了填补这一空白，本文介绍了 C3bench，这是一个全面的古典汉语理解基准，它由 50,000 个文本对组成，用于五个主要的 CCU 任务，包括分类、检索、命名实体识别、标点符号和翻译。此外，C3bench 中的数据来自十个不同的领域，涵盖了文言文的大部分类别。利用提出的 C3bench，我们广泛评估了 15 个代表性 LLM 在所有五个 CCU 任务上的定量性能。我们的结果不仅建立了 LLM CCU 能力的公开排行榜，而且还获得了一些发现。具体来说，现有的 LLM 正在努力完成 CCU 任务，并且仍然不如监督模型。此外，结果表明 CCU 是一项需要特别注意的任务。我们相信这项研究可以为基于 LLM 的 CCU 研究的未来发展提供标准基准、全面的基线和有价值的见解。评估流程和数据集可在 https://github.com/ SCUT-DLVCLab/C3bench 上获得。

1 引言

2 相关工作

3 C3Bench

4 实验

5 局限性