论文《CONSPIRED: A Dataset for Cognitive Traits of Conspiracy Theories and Large Language Model Safety》总结与翻译
一、文章主要内容总结
1. 研究背景与问题
阴谋论通过传播虚假信息削弱公众对科学和机构的信任,且能吸收反证、不断演变以抵抗反驳;同时,大语言模型(LLM)生成的虚假信息日益复杂,而当前LLM对阴谋论内容的敏感性尚未得到研究,缺乏通用框架分析阴谋论认知特征,也缺少标注此类特征的数据集,难以实现针对性干预和LLM安全评估。
2. 核心解决方案:CONSPIRED数据集
- 数据集构建:基于CONSPIR认知框架(涵盖矛盾性、极端怀疑、恶意意图等6类阴谋论认知特征),从在线阴谋论文章中提取80-120词的多句片段,标注所有适用认知特征及最显著特征。训练数据来自LOCO语料库(2020年前事件,如戴安娜王妃之死),测试数据来自GlobalResearch网站(2020-2023年事件,如新冠疫情相关阴谋论),共1974个样本。
- 标注质量保障:由两名硕士级标注员完成标注,通过每周会议优化标注指南,采用gamma系数和Krippendorff’s α评
订阅专栏 解锁全文
1777



被折叠的 条评论
为什么被折叠?



