2025KDD-runner up-A Guide to Misinformation Detection Data and Evaluation

文章主要内容总结

该研究聚焦虚假信息检测领域的数据与评估问题，核心是解决数据缺陷导致的解决方案难落地的痛点。研究整理了75个虚假信息相关数据集（CDL-MD），规模为同类研究之最，其中36个聚焦单句/双句声明、9个聚焦段落文本，涵盖1.2亿+观测值，统一了“真实/虚假/混合/未知”的标签体系。通过CDL-DQA工具评估数据质量，发现多数数据集存在虚假关键词关联、虚假时间关联、内容模糊不可验证等问题，超半数声明类数据无证据检索时无法评估真实性。同时，研究建立了GPT-4（含/不含网页搜索）的基线模型，指出传统分类指标（如准确率、F1）无法准确评估生成式检测模型，进而提出“评估质量保障（EQA）”实践框架，为领域提供数据选择、质量评估和模型验证的完整路线图。

创新点

1. 规模最大的数据集整合与统一：首次汇集75个数据集，是同类研究的3倍以上，统一标签体系和格式，提供HuggingFace仓库及网站访问，解决数据碎片化问题。
2. 多维度数据质量评估工具：开发CDL-DQA工具，系统检测虚假关键词关联、虚假时间关联、内容可验证性三大核心问题，量化揭示数据缺陷对模型泛化性的影响。
3. 生成式模型的基线与评估反思：建立GPT-4（含证据检索）的前沿基线，证实传统分类指标对生成式模型的评估偏差，提出基于矛盾评分的替代评估思路。
4. 系统性评估质量保障框架：提出EQA实践，要求研究中纳入数据质量分析、评估局限性说明，从方法论层面解决数据和评估缺陷导致的结论不可靠问题。