A Comprehensive Study of Implicit and Explicit Biases in Large Language Models

文章主要内容与创新点总结

一、主要内容

本文聚焦大型语言模型（LLMs）中的显性和隐性偏见问题，系统研究了BERT、DistilBERT、GPT-3.5等多款主流模型在性别、种族、职业、宗教等多维度偏见上的表现。研究采用StereoSet和CrowSPairs两大偏见基准数据集，通过双轨检测方法（显性偏见提示与隐性偏见提示）评估模型偏见水平，并提出了包含数据预处理、模型微调、评估与分析的完整研究框架。

研究发现：1）微调模型在种族偏见识别与规避上表现较好，但仍难以应对性别偏见；2）LLMs普遍存在过度依赖关键词的问题，且隐性刻板印象会通过词汇选择体现；3）基于T5模型和GPT-3.5的释义数据增强技术，结合多选择符号绑定（MCSB）提示策略，能有效提升模型在跨数据集测试中的适应性，隐性偏见基准测试性能最高提升20%；4）通过词袋（BoW）分析发现，模型对带有负面内涵的词汇（如“暴力”“恐怖分子”）更为敏感，且微调能帮助模型更好地识别刻板印象，进而在隐性提示场景中规避偏见。

二、创新点

1. 提出了一套自动化偏见识别框架（BIF），整合MCSB提示技术与显性/隐性双轨检测逻辑，支持多维度社会偏见（含年龄、残疾、社会经济地位等9类）的系统评估，可适配不同LLMs且易于扩展。
2. 采用“数据增强+提示工程+微调”的组合优化策略，通过释义扩充基准数据集，并将词袋分析结果融入提示设计，实现模型偏见 mitigation 效果的显著提升，且验证了跨数据集应用的有效性。
3. 结合定量（统计指标）、定性（词袋分析）与比较分析方法，深入揭示了LLMs偏见产生的机制——