Unveiling Linguistic Regions in Large Language Models

本文是LLM系列文章，针对《Unveiling Linguistic Regions in Large Language Models》的翻译。

摘要

大型语言模型（LLM）已经显示出相当大的跨语言对齐和泛化能力。目前的研究主要集中在提高LLM的跨语言泛化能力上。然而，关于LLM如何实现跨语言对齐的内在机制仍然缺乏研究。本文从区域划分的角度，对LLMs的语言能力进行了几次考察。我们发现LLM中有一个核心区域对应于语言能力，约占整个模型参数的1%。通过将参数设置为零来删除此核心区域会导致30种不同语言的性能显著下降。此外，这个核心区域表现出显著的维度依赖性，甚至对特定维度上的单个参数的扰动都会导致语言能力的丧失。此外，我们发现不同的单语族存在不同的区域，对这些特定区域的破坏大大降低了LLM对相应语言的熟练程度。我们的研究还表明，在进一步的预训练中冻结核心语言区域可以缓解灾难性遗忘（CF）的问题，这是LLM进一步预训练中常见的现象。总的来说，探索LLM的功能区域可以深入了解其智力的基础。

1 引言

2 背景和度量

3 实验

4 相关工作

5 结论

本文探讨了某些参数在大型语言模型（LLM）中的关键作用，确定了多语言对齐和泛化所必需的核心区域。去除这个区域会导致LLM语言能力的完全丧失。此外，我们发现这个核心区域集中在特定的维度上，只扰动一个维度会导致语言能力的显著下降。此外，在核心语言区域之外，我们观察到LLM中存在影响特定语言的单语区域。重要的是，我们注意到，在进一步的预训练中，灾难性的遗忘现象可能与核心语言区域的剧烈变化有关，因为在进一步的预先训练中冻结这