Rethinking Toxicity Evaluation in Large Language Models: A Multi-Label Perspective

文章总结与翻译

一、主要内容

该研究聚焦大型语言模型（LLMs）毒性检测的核心痛点——现有单标签评估基准与真实世界毒性内容的多维度、模糊性本质不匹配，导致检测存在漏检、误检等问题，且多标签标注成本极高。

核心工作

1. 构建多标签基准数据集：推出Q-A-MLL、R-A-MLL、H-X-MLL三个多标签毒性检测基准，基于统一的15类毒性分类体系（源自OpenAI使用政策），包含8.5万条单标签训练样本和15,063条全多标签验证/测试样本，平衡标注成本与评估精度。
2. 理论证明：从理论上验证，在低资源多标签场景下，使用伪标签训练的模型期望风险严格低于直接使用单标签监督训练的模型。
3. 提出检测方法：设计基于标签增强的伪标签训练框架LEPL-MLL，通过对比标签增强、类别先验引导伪标签生成、图卷积网络（GCN）建模标签相关性三个核心模块，实现高效多标签毒性检测。
4. 实验验证：在三个基准上进行大量实验，LEPL-MLL显著优于GPT-4o、DeepSeek等先进模型及传统基线方法，且能通过生成高质量伪标签，低成本提升LLMs的安全对齐效果。

二、创新点

1. 首次构建多标签毒性基准：突破单标签评估局限，提供覆盖用户提示和LLM生成响应的多标签基准，支持细粒度、无偏的毒性检测评估。