Beyond Binary Moderation: Identifying Fine-Grained Sexist and Misogynistic Behavior on GitHub wit...

文章主要内容总结

本文聚焦GitHub平台中性别歧视和厌女行为的检测，旨在解决现有 moderation 工具依赖关键词过滤或二元分类、难以识别细微伤害的问题。研究提出了一种基于指令微调大型语言模型（LLMs）的细粒度多类别分类框架，可识别12种不同类别的性别歧视和厌女评论。

研究过程中，团队通过20次迭代优化提示词，在包含1440条标注GitHub评论的数据集上评估了GPT-4o、LLaMA 3.3、Mistral 7B等模型，采用精确率、召回率、F1分数和马修斯相关系数（MCC）作为评估指标。结果显示，优化后的GPT-4o（配合Prompt 19）取得了0.501的MCC，显著优于基线模型，且假阳性率低，但在解读细微、依赖上下文的性别歧视内容时仍存在困难。研究结论表明，设计清晰的提示词（包含明确定义和结构化输出）能有效提高检测准确性和可解释性，为GitHub等开发者平台的精准 moderation 提供支持。

创新点

1. 首个针对GitHub通信的多类别性别歧视分类器：首次将性别歧视和厌女行为细分为12个类别，突破传统二元分类的局限。
2. LLMs在软件工程场景的比较分析：系统评估了三种最先进的LLMs（GPT-4o、LLaMA 3.3、Mistral 7B）在检测性别歧视内容上的表现。
3. 基于实证的迭代提示词优化：通过分析误分类案例，迭代优化提示词（20次迭代），提升多类别文本分类性能。
4. 软件工程领域LLM分类器开发经验：总结了针对软件