Locating and Mitigating Gender Bias in Large Language Models

本文是LLM系列文章，针对《Locating and Mitigating Gender Bias in Large Language Models》的翻译。

摘要

大型语言模型（LLM）在广泛的语料库上进行预训练，以学习包含人类偏好的事实和人类认知。然而，这一过程可能会无意中导致这些模型获得社会中普遍存在的偏见和刻板印象。先前的研究通常通过一维视角来解决偏见问题，集中精力定位或减轻偏见。这种有限的视角阻碍了对偏见的研究相互补充和逐步发展。在这项研究中，我们将定位和减轻偏见的过程整合在一个统一的框架内。最初，我们使用因果中介分析来追踪大型语言模型中不同成分激活的因果效应。在此基础上，我们提出了LSDM（最小二乘Debias方法），这是一种基于知识编辑的方法，用于减轻职业代词中的性别偏见，并将其与三个性别偏见数据集和七个知识能力测试数据集上的两个基线进行了比较。实验结果表明，造成性别偏见的主要因素是作用于职业代词最后一个表征的最底层MLP模块和作用于句子最后一个词的最高层注意力模块。此外，LSDM比其他基线更有效地缓解了模型中的性别偏见，同时充分保留了模型在所有其他方面的能力。

1 引言

2 追踪偏差信息流的激活干预

3 减轻性别偏见的权重干预措施

4 实验

5 结论

本文研究了大型语言模型中性别偏见的存储位置和生成机制，并提出了一种基于知识编辑的性别去偏见方法LSDM。我们采用因果追踪方法来确定模型偏差产生的位置，并认为性别偏差是由于底部MLP模块的信息富集效应而产生的，并由顶部注意力模块提取以影响模型输出。在此基础上，我们使用最小二乘算法对底部MLP模块进行修改，以消