K-Level Reasoning with Large Language Models

本文是LLM系列文章，针对《K-Level Reasoning with Large Language Models》的翻译。

摘要

虽然大型语言模型（LLM）已经证明了它们在复杂推理任务中的熟练程度，但它们在动态、交互式和竞争场景中的性能——如商业战略和股市分析——仍然没有得到充分的探索。为了弥补这一差距，我们正式探索了LLM在快速发展的环境中用于决策的动态推理能力。我们介绍了两个基于博弈论的试点挑战，反映了现实世界动态决策的复杂性。这些挑战是明确定义的，能够对LLM的动态推理能力进行清晰、可控和精确的评估。通过广泛的实验，我们发现现有的推理方法在需要k级思维的动态环境中往往会出现问题——这是以前工作中没有解决的关键概念。为了解决这一问题，我们提出了一种新的LLM推理方法，称为“K-Level推理”。这种方法采用了竞争对手的视角，基于可用的历史信息递归地使用k级思维，显著提高了竞争对手后续行动的预测准确性，并为更多的战略决策提供了信息。这项研究不仅为动态推理的评估设定了一个强有力的定量基准，而且显著提高了LLM在动态环境中的熟练程度。

1 引言

2 问题定义

3 利用LLM的K-level推理

4 实验

5 重新思考K-levle推理

6 相关工作

7 结论

本文在理解和增强LLM的动态推理能力方面迈出了重要的一步。平均值和生存拍卖游戏的猜测0.8不仅是有效的评估工具，也是连接人工智能研究与现实世