When LLMs Meet Cunning Questions: A Fallacy Understanding Benchmark for Large Language Models

本文是LLM系列文章，针对《When LLMs Meet Cunning Questions: A Fallacy Understanding Benchmark for Large Language Models》的翻译。

摘要

近年来，大型语言模型（LLM）在语言理解和生成方面取得了显著的进展。在此之后，各种衡量LLM各种能力的基准如雨后春笋般出现。在本文中，我们通过提出一个FaLlacy理解基准（FLUB）来挑战LLM的推理和理解能力，该基准包含人类易于理解但模型难以掌握的狡猾问题。具体而言，FLUB关注的狡猾问题主要包括从真实互联网环境中收集的狡猾、幽默和误导性问题。我们在FLUB基准中设计了三个难度越来越大的任务来评估LLM的谬论理解能力。基于FLUB，我们研究了多个具有代表性的先进LLM的性能，反映出我们的FLUB具有挑战性，值得进一步研究。在我们广泛的实验和详细的分析中，我们获得了有趣的发现和有价值的见解。我们希望我们的基准能够鼓励社会提高LLM理解谬误的能力。

1 引言

2 基准

3 实验

4 相关工作

5 结论

在这项工作中，我们构建了FLUB，这是一个由狡猾的问题组成的高质量基准，旨在评估LLM的谬论理解能力。此外，我们还在FLUB上评估了先进的LLM。详细的分析表明，FLUB具有很大的挑战性和研究价值。迄今为止，大多数现有的LLM仍然不能很好地理解这种谬论，这导致它们远