Isolating Culture Neurons in Multilingual Large Language Models

文章主要内容总结

本文聚焦多语言大型语言模型（LLMs）中文化信息的编码机制，旨在定位并分离与文化相关的特定神经元（“文化神经元”），并探究其与语言特定神经元的关系。研究通过扩展已有的语言特定神经元识别方法，提出了识别“纯文化神经元”（即仅编码文化信息而不依赖语言的神经元）的方法论，并构建了包含6种文化、8520万tokens的多文化数据集MUREL以支持实验。

实验结果表明：多语言LLMs中，不同文化的信息被编码在 distinct 神经元群体中，且这些神经元主要集中在模型的上层；文化神经元（尤其是纯文化神经元）可独立于语言神经元或其他文化的神经元被调节。这一发现为选择性编辑模型中的文化知识提供了可能，有助于提升模型的文化公平性、包容性和对齐性。

创新点

1. 方法论创新：提出了识别“纯文化神经元”的系统方法，通过区分语言特定神经元（LAPE方法）和文化特定神经元（CAPE方法），并通过集合运算分离出不依赖语言的纯文化神经元。
2. 数据集构建：创建了MUREL数据集，涵盖6种文化的69个子数据集，覆盖意识形态、语言和社会等多维度文化元素，为文化神经元研究提供了基础资源。
3. 实验发现：证实文化知识在LLMs中以特定神经元群体形式编码，且在很大程度上可与语言知识分离；文化神经元主要位于模型上层，支持语义表征的层级组织理论。
4. 干预验证：通过神经元消融实验证明，调节文化神经元可特异性影响模型对对应文化内容的处理，而不干扰其他文化或语言，验证了其功能独