Demographic Biases and Gaps in the Perception of Sexism in Large Language Models

文章总结与翻译

一、文章主要内容

本文聚焦大型语言模型（LLMs）在检测社交媒体文本中性别歧视内容时的人口统计偏差与认知差异问题，核心内容如下：

1. 研究背景：性别歧视的解读受文化、人口统计和历史因素影响，不同人群认知存在差异；LLMs虽在仇恨言论检测中表现突出，但易继承训练数据中的偏差，且现有研究较少关注其对不同人群性别歧视认知的模拟能力。
2. 研究数据与模型：采用EXIST 2024推文数据集（每条推文含6类人群标注），以Llama-3.1-8B-Instruct和Gemini-1.5-Flash-8B为实验模型，探究模型对不同人口统计特征（性别、年龄、国家）人群性别歧视认知的模拟效果。
3. 实验设计
   • 提示词测试：设计3类提示词模板（含Gupta等人2023年提出的模板及混合变体），结合不同人口统计特征组合（单一性别/年龄、性别+年龄、性别+年龄+国家），诱导模型生成对应人群视角的性别歧视检测结果。
   • 参数设置：测试温度0（确定性输出）和温度1（常规商用配置）两种参数，每条推文按6类人群标注结构分类6次，通过正则表达式提取“是/否”结果，计算软预测值（YES占比）。
   • 评估方式：用皮尔逊相关系数对比模型软预测值与数据集聚类标签，衡量模型对不同人群认知的复刻程度。
4. 核心结果<