NEURON-LEVEL ANALYSIS OF CULTURAL UNDERSTANDING IN LARGE LANGUAGE MODELS

该文章通过神经元层面分析，揭示了大语言模型（LLMs）文化理解的内在机制，提出了识别文化相关神经元的方法，并验证了其对模型文化理解能力的关键作用，同时为模型训练提供了工程指导。

一、文章主要内容总结

1. 研究背景与问题
   • 背景：LLMs在全球广泛应用，但存在文化偏见，对少数族裔文化认知有限，且其文化理解机制尚未被充分探索。
   • 现有局限：此前研究多关注语言与文化的关联，依赖激活基方法，难以精准定位文化相关神经元，且缺乏多文化基准的综合评估。
2. 核心方法：CULNIG pipeline
   • 目的：精准识别支撑文化理解的“文化通用神经元”（跨文化通用）和“文化特定神经元”（对应单一文化）。
   • 关键步骤：
     • 采用基于梯度的归因分数（量化神经元对文化任务的重要性），结合控制数据集（BLEnD_ctrl）排除任务理解相关神经元。
     • 构建CountryRC（CRC）数据集，过滤仅响应国家名称的表层神经元。
     • 对文化特定神经元，通过z分数筛选，保留仅对单一文化贡献显著的神经元。
3. 实验结果
   • 神经元分布：文化相关神经元占比不足1%，集中在LLMs的浅层至中层MLP模块（而非注意力模块）。
   • 功能验证：抑制这些神经元会使模型在文化基