Beneath the Surface: How Large Language Models Reflect Hidden Bias

摘要

大语言模型（LLMs）的卓越性能往往伴随着其训练数据中所蕴含的社会偏见的无意传播。虽然现有基准通过偏见概念术语与人口统计学术语之间的直接关联来评估明显偏见，但大语言模型越来越善于避免产生有偏见的回答，从而营造出一种中立的假象。然而，偏见以更微妙、在上下文中隐藏的形式存在，传统基准无法捕捉到这些偏见。我们引入了隐藏偏见基准（HBB），这是一个全新的数据集，旨在评估隐藏偏见。在该数据集中，偏见概念隐藏在现实场景中自然、微妙构建的上下文里。我们分析了六种最先进的大语言模型，发现虽然这些模型在应对明显偏见时减少了偏差，但在细微的情境中它们仍然在强化偏见。相关数据、代码和结果可在https://github.com/JP-25/Hidden-Bias-Benchmark获取。

引言

大语言模型（LLMs）的出色表现常常伴随着其训练数据中固有社会偏见的传播（Gallegos等人，2024a；Hofmann等人，2024；Navigli等人，2023；Cui等人，2024）。这些偏见引发了严重的伦理问题，因为它们延续了刻板印象，加剧了歧视，并对现实世界的决策产生负面影响。