StrucText-Eval：An Autogenerated Benchmark for Evaluating Large Language Model’s Ability

本文是LLM系列文章，针对《StrucText-Eval: An Autogenerated Benchmark for Evaluating Large Language Model’s Ability in Structure-Rich Text Understanding》的翻译。

摘要

鉴于许多公司持有大量结构化数据，使大型语言模型（LLM）能够直接理解非结构化形式的结构化文本，可以显著增强其在各种业务场景中的能力。为此，我们提出了一种评估LLM理解富结构文本能力的评估数据生成方法，该方法基于手工制作的问题模板和生成规则生成复杂度可控的结构化数据。在这种生成方法的基础上，我们引入了StructText Eval，这是一个基准测试，包括8种不同结构化语言和29项特定任务的6032个问题。此外，考虑到人类在基于规则的任务中的熟练程度，我们还提出了StructText Eval Hard，其中包括3016个问题，旨在进一步检验LLM与人类表现之间的差距。结果表明，目前性能最好的LLM在StructText Eval Hard上的准确率为65.0%，而人类的准确率高达95.7%。此外，虽然使用StructText Eval进行微调可以增强现有LLM对所有结构化语言的理解，但它并不一定能提高所有任务类型的性能。基准代码和生成代码在https://github.com/MikeGu721/StrucText-Eval是开源的。

1 引言

2 相关工作

3 StrucText-Eval构建

4 实验设置

5 分析

6 结论</