Puzzle Solving using Reasoning of Large Language Models: A Survey

本文是LLM系列文章，针对《Puzzle Solving using Reasoning of Large Language Models: A Survey》的翻译。

摘要

探索大型语言模型（LLM）在解谜方面的能力，揭示了它们在人工智能中的潜力和挑战，标志着朝着理解它们在复杂推理任务中的适用性迈出了重要一步。这项调查利用了一种独特的分类法——将谜题分为基于规则和无规则的类别——通过各种方法，包括提示技术、神经符号方法和微调，对LLM进行批判性评估。通过对相关数据集和基准的批判性审查，我们评估LLM的性能，确定复杂谜题场景中的重大挑战。我们的发现突出了LLM能力和类人推理之间的差异，特别是在那些需要高级逻辑推理的推理中。该调查强调了新策略和更丰富数据集的必要性，以提高LLM的解谜能力，并有助于人工智能的逻辑推理和创造性解决问题的进步。

1 引言

2 难题的分类

3 方法和策略

4 数据集、基准和任务

5 讨论和未来方向

6 结论

在这项调查中，我们提出了一种用于评估大型语言模型的谜题分类法，将其分为基于规则（确定性和随机性）和无规则谜题（谜题、编程谜题和常识推理谜题）。我们探索了一系列基于LLM的解谜方法，从各种提示技术到神经符号策略和微调。通过整理该领域的现有数据集，我们全面概述了可用于此类评估的资源。我们的分析确定了当前的挑战，