文章核心内容总结
该研究聚焦大型语言模型(LLMs)的抽象思维与多语言能力,核心发现是LLMs在发展中会逐步形成语言无关参数空间,由占比极小但功能关键的共享神经元构成,这些神经元是模型跨语言泛化和抽象思维(如语义推理)的核心。研究通过区分语言相关神经元(共享神经元与专属神经元),发现模型迭代中共享神经元的比例和功能重要性持续提升,而专属神经元影响减弱;基于此提出神经元靶向训练策略,根据模型语言无关性水平(低/中/高)分别优化不同类型神经元,有效提升多语言性能。
创新点
- 首次从神经元层面证实LLMs存在语言无关抽象思维,打破“模型以英语为内部思考语言”的传统认知。
- 定义了语言相关神经元、共享/专属神经元、语言无关神经元等核心概念,提出共享神经元比例、语言无关分数等量化指标。
- 提出适配模型发展阶段的靶向训练方法,无需修改模型架构,仅针对特定神经元优化,兼顾效率与效果。
- 跨多个模型家族(Llama、Qwen、Gemma)和语言类型(高/中/低资源)验证,结果具有强泛化性。
翻译部分(Markdown格式)
Abstract
随着大型语言模型(LLMs)的持续发展,其在多种语言中有效运行的能力已显著提升。初步研究发现,即使在响应非英语提示时,LLMs的隐藏层激活也常与英语相关,这导致了“LLMs可能以英语‘思考’”的普遍假设。然而,近期研究显示模型
订阅专栏 解锁全文
1320



被折叠的 条评论
为什么被折叠?



