PBBQ: A Persian Bias Benchmark Dataset Curated with Human-AI Collaboration for Large Language Models

一、文章主要内容总结

本文聚焦波斯语大型语言模型（LLMs）的社会偏见评估缺口，提出了首个针对波斯语语境的偏见基准数据集PBBQ（Persian Bias Benchmark for Question-answering）。研究核心内容包括：

1. 数据集构建：通过人机协作模式，结合社会科学专家指导与250名不同人口统计学背景受访者的问卷反馈，筛选出223个波斯文化中广泛认可的刻板印象，覆盖年龄、职业、社会经济地位等16个偏见类别，最终生成37,742条高质量问答样本，包含模糊语境、明确语境及对应正负向问题。
2. 模型评估：对8个LLM（开源模型如LLaMA-3.1-8B-Instruct、闭源模型如GPT-4o、波斯语专用微调模型如Maral、Dorna）进行基准测试，采用准确率、偏见得分、不确定性得分三类指标。
3. 关键发现：所有受测模型均存在显著社会偏见，16个类别中有12类偏见表现突出；波斯语专用模型的偏见程度整体高于其他两类模型；模型偏见与人类偏见模式存在较强一致性，且模糊语境下模型不确定性更高，明确语境可部分缓解偏见但无法完全消除。
4. 伦理与局限：明确数据集仅用于偏见检测与缓解研究，禁止恶意使用；指出研究局限包括未覆盖超大参数模型、未分析交叉偏见、受访者样本量相对有限等。

二、文章创新点

1. 填补波斯语偏见评估空白：首次构建针对波斯文化语境的偏见基准数据集，解决了现有基准多适用于