Exploring the Limitations of Large Language Models in Compositional Relation Reasoning

本文是LLM系列文章，针对《Exploring the Limitations of Large Language Models in Compositional Relation Reasoning》的翻译。

摘要

我们通过一个包含1500个英语测试案例的基准，对大型语言模型（LLM）推理作文关系的能力进行了全面评估，该基准旨在涵盖六种不同类型的作文关系：位置关系、比较关系、个人关系、数学关系、同一性关系和其他关系。认识到多语言能力的重要性，我们扩大了评估范围，将这些案例翻译成中文、日语、法语和韩语。我们的多语言作文关系（MCR）基准旨在研究LLM在处理不同语言背景下的作文关系推理时的稳健性和适应性。我们的基准MCR将在http://github.com/anonymous发布。

1 引言

2 相关工作

3 动机

4 基准

5 实验

6 结论

在这项工作中，我们对LLM在推理构图关系方面的能力进行了全面评估。我们的研究结果表明，最先进的LLM，包括LLaMA-2 7B/13B和GPT-3，很难驾驭复杂的成分关系问题，它们在英语中的表现略高于随机猜测。这突出了当前一代LLM的一个关键限制，表明在这些模型能够真正理解人类语言的语义之前，还有相当大的差距