SportQA: A Benchmark for Sports Understanding in Large Language Models

本文是LLM系列文章，针对《SportQA: A Benchmark for Sports Understanding in Large Language
Models》的翻译。

摘要

深入了解体育这个富含战略和动态内容的领域，对于推进自然语言处理至关重要。鉴于专业基准方面的现有差距，这在评估和推进大型语言模型（LLM）方面具有特别重要的意义。为了弥补这一差距，我们引入了SportQA，这是一种专门为在体育理解的背景下评估LLM而设计的新基准。SportQA包含超过70000道跨越三个不同难度级别的多项选择题，每道题都针对体育知识的不同方面，从基本的历史事实到复杂的、基于场景的推理任务。我们对流行的LLM进行了彻底的评估，主要利用小样本学习范式，辅以思维链（CoT）提示。我们的研究结果表明，虽然LLM在基本体育知识方面表现出色，但它们在更复杂的、基于场景的体育推理中挣扎，落后于人类的专业知识。SportQA的引入标志着NLP向前迈出了重要一步，为评估和增强LLM中的体育理解提供了一个工具。

1 引言

2 相关工作

3 运动理解基准

4 实验

5 结论