SportQA: A Benchmark for Sports Understanding in Large Language Models

本文是LLM系列文章，针对《SportQA: A Benchmark for Sports Understanding in Large Language
Models》的翻译。

摘要

深入了解体育这个富含战略和动态内容的领域，对于推进自然语言处理至关重要。鉴于专业基准方面的现有差距，这在评估和推进大型语言模型（LLM）方面具有特别重要的意义。为了弥补这一差距，我们引入了SportQA，这是一种专门为在体育理解的背景下评估LLM而设计的新基准。SportQA包含超过70000道跨越三个不同难度级别的多项选择题，每道题都针对体育知识的不同方面，从基本的历史事实到复杂的、基于场景的推理任务。我们对流行的LLM进行了彻底的评估，主要利用小样本学习范式，辅以思维链（CoT）提示。我们的研究结果表明，虽然LLM在基本体育知识方面表现出色，但它们在更复杂的、基于场景的体育推理中挣扎，落后于人类的专业知识。SportQA的引入标志着NLP向前迈出了重要一步，为评估和增强LLM中的体育理解提供了一个工具。

1 引言

2 相关工作

3 运动理解基准

4 实验

5 结论

这项研究引入了SportQA，这是评估LLM对体育理解的基准。与以前主要关注基本事实回忆或简单的体育相关查询的基准不同，SportQA深入研究了体育知识的复杂性，涵盖了历史事实、规则、策略和基于场景的推理。我们的评估表明，尽管目前像GPT-4这样的LLM在基础知识和规则理解方面表现出了很好的能力，但它们在复杂的基于场景的推理中的表现仍然是一个挑战，仍然落后于人类的专业知识。研究结果强调了NLP和人工智能不断进步的必要性，以实现对体育运动更深入