Measuring Implicit Bias in Explicitly Unbiased Large Language Models

本文是LLM系列文章，针对《Measuring Implicit Bias in Explicitly Unbiased Large Language Models》的翻译。

摘要

大型语言模型（LLM）可以通过显性偏见测试，但仍然存在隐性偏见，类似于支持平等主义信仰但表现出微妙偏见的人类。测量这种隐性偏见可能是一个挑战：随着LLM变得越来越专有，可能不可能访问其嵌入并应用现有的偏见测量；此外，如果隐性偏见影响到这些系统做出的实际决策，那么它们主要是一个令人担忧的问题。我们通过引入两种受心理学启发的偏见测量方法来应对这两个挑战：LLM内隐联想测试（IAT）偏见，这是一种基于提示的揭示内隐偏见的方法；以及LLM决策偏差，用于检测决策任务中的细微差别。使用这些措施，我们发现在4个社会领域（种族、性别、宗教、健康）和21个类别（武器、内疚、科学、职业等）的6个LLM中普遍存在类似人类的刻板印象偏见。我们基于提示的内隐偏差测量与基于嵌入的方法相关，但更好地预测了LLM决策偏差测量的下游行为。这项测量是基于要求LLM在个体之间做出决定，其动机是心理结果表明相对而非绝对的评价与内隐偏见更相关。使用心理学提供的基于提示的测量方法，我们可以有效地暴露专有LLM中的细微偏见和微妙歧视，这些LLM在标准基准上没有表现出明显的偏见。

1 引言

2 相关工作

3 方法

4 结果

5 讨论

尽管在减少LLM中的社会偏见方面取得了重大进展，但从这些偏见的起源——人类——仍有很多需要学习的地方。尽管人类社会为减少偏见和歧视做出了长达一个世纪的努力，但人类并没有消除偏见，而是学会了将公然的刻板印象转化为更难看到的形式