论文核心总结与翻译
一、主要内容总结
该论文聚焦大型语言模型(LLMs)中的刻板印象与偏见问题,通过系统的实验设计、数据处理和模型优化,全面探究了LLMs中显性与隐性偏见的存在形式、影响因素及缓解方法,核心内容如下:
1. 研究背景与问题提出
- LLMs(如ChatGPT、BERT等)因训练数据源于互联网(含大量主观观点、偏见及错误信息),普遍继承了社会、伦理、文化、宗教等维度的显性与隐性偏见。
- 这些偏见会对少数群体(如不同性别、种族、宗教背景人群)造成不公,且现有模型的安全防护机制易被规避,亟需系统性的偏见识别与缓解方案。
2. 研究方法与实验设计
- 模型选择:评估了BERT-Base、DistilBERT-Base、GPT-3.5、T5等主流模型,通过微调(Finetuning)优化模型性能。
- 数据集:采用StereoSet(约1.7万条提示,聚焦性别、职业、宗教、种族偏见)和CrowSPairs(1500余条提示,涵盖9类偏见:种族、性别、社会经济地位等)作为偏见评估基准。
- 提示技术:提出多重选择符号绑定(MCSB)技术,分为显性偏见提示(直接要求模型识别刻板印象)和隐性偏见提示(不提及偏见,观察模型自发选择)。
- 数据增强:利用T5模型和GPT-3.5对训练数据进行释义扩充,提
订阅专栏 解锁全文
1318



被折叠的 条评论
为什么被折叠?



