2025_NIPS_Redefining Experts: Interpretable Decomposition of Language Models for Toxicity Mitigation

文章核心总结与翻译

一、主要内容

该研究聚焦大型语言模型（LLMs）的毒性内容生成问题，针对现有神经元级干预方法存在的不稳定性、上下文依赖性及损害模型核心语言能力等缺陷，开展了系统性探索与创新：

1. 核心研究问题：围绕三个关键问题展开——单个神经元作为毒性指标的可靠性、层级化（layer-wise）表征在毒性检测中的优势、毒性生成机制的可解释性组件挖掘。
2. 实证分析基础：基于Jigsaw（英语）和ToxiCN（中文）数据集，对比单个神经元激活与聚合层级表征的毒性检测性能，发现层级表征更稳健，且现有方法混淆了“毒性检测专家”与“毒性生成专家”。
3. 核心方法EigenShift：提出基于语言模型最终输出层（lm_head）特征值分解的干预框架，通过奇异值分解（SVD）分离语义决策空间中的“生成专家”特征向量，选择性抑制与毒性相关的特征方向，同时保留“检测专家”功能与模型核心语言能力。
4. 评估体系：提出TPH（Toxicity-Perplexity Harmonic）评分指标，通过毒性降低率与困惑度保留率的调和平均，量化毒性缓解与语言流畅性的权衡；在RealToxicPrompts基准测试中验证，EigenShift实现58%毒性降低，困惑度仅轻微上升（△PPL=+3.62），TPH评分达60.37%，优于多数基线方法。

二、创新点

1. 表征范式突破