Emergent Symbolic Mechanisms Support Abstract Reasoning in Large Language Models

本文是LLM系列文章，针对《Emergent Symbolic Mechanisms Support Abstract Reasoning in Large Language Models》的翻译。

摘要

最近的许多研究都发现了大语言模型中出现推理能力的证据，但对于这些能力的稳健性，以及它们在多大程度上依赖于结构化推理机制，仍存在争议。为了阐明这些问题，我们对支持开源语言模型 Llama3-70B 中抽象规则归纳的内部机制进行了全面研究。我们识别出一种新兴的符号架构，它通过一系列三个计算步骤来实现抽象推理。在早期层中，符号抽象头基于输入token之间的关系将其转换为抽象变量。在中间层中，符号归纳头对这些抽象变量进行序列归纳。最后，在后期层中，检索头通过检索与预测的抽象变量相关联的值来预测下一个token。这些结果为符号主义和神经网络方法之间长期存在的争论提供了解决思路，表明神经网络中的新兴推理能力依赖于符号机制的出现。

1 引言

大语言模型已成为人工智能领域的主导范式，但关于其能力的局限性和可靠性仍存在大量争议。这场争论的一个主要焦点是它们是否能够以抽象或类似人类的方式进行系统推理。许多研究记录了大语言模型在各种推理任务上令人印象深刻的表现，在某些情况下甚至可以与人类表现相媲美，但其他研究对这些结论提出了质疑。特别是，语言模型在一些推理领域，如数学推理或规划中表现较差；而且，即使在它们表现出色的领域，如类比推理，一些研究也对这些能力的稳健性提出了质疑。
这些相互矛盾的发现提出了一个问题：语言模型是否真的能够进行抽象结构化的类似人类的推理，还是它们仅仅通过对训练数据进行统计近似来模仿这种能力？回答这个问题的一种方法是研究支持这种能力的内部机制。长期以来，人们一直假设需要先天的符号处理机制来支持类似人类的抽象。也有研究表明，神经网络至少在理论上能够实现符号系统的一些关键特性，并且将这些特性作为架构归纳偏差纳入模型，可以支