UNVEILING A CORE LINGUISTIC REGION IN LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《UNVEILING A CORE LINGUISTIC REGION IN LARGE LANGUAGE MODELS》的翻译。

摘要

大脑定位描述了大脑特定区域与其相应功能之间的联系，在认知科学领域被广泛接受为一个客观事实。今天的大型语言模型（LLM）具有人类水平的语言能力，可以执行需要抽象知识和推理的复杂任务。为了深入理解LLM中智力出现的内在机制，本文以大脑定位为原型进行了类比研究。我们在LLM中发现了一个与语言能力相对应的核心区域，约占整个模型参数的1%。这个核心区域表现出显著的维度依赖性，甚至对特定维度上的单个参数的扰动都可能导致语言能力的丧失。此外，我们观察到，语言能力的提高并不一定伴随着模型知识水平的提高，这可能意味着存在与语言区域分离的领域知识区域。总的来说，探索LLM的功能区域可以深入了解其智力的基础。未来，我们将继续研究LLM中的知识区域以及它们之间的相互作用。

1 引言

2 前言和背景

3 核心语言能力区

4 讨论和未来工作

5 结论

受认知科学研究的启发，本文研究LLM中是否存在特定的功能区域。我们确定了一个专门负责LLM中语言处理的核心区域。该区域仅占模型参数的1%，但在保持模型的整体语言能力方面发挥着至关重要的作用。该区域参数的无效变化会严重损害模型的语言能力。我们还观察到，在语言能力的核心区域存在明显的维度依赖性。令人惊讶的是，在像LLaMA-13B这样拥有130亿个参数的大型模型中，只改变一个参数可能会对其语言能力造成重大损害。本研究进一步阐明了大型语言模型中语言能力与知识之间的关系。我们发现，语言能力的提高