文章核心总结与创新点
主要内容
本文针对现有自动事实核查数据集的缺陷(依赖人工生成声明、缺乏证据与推理标注、存在时间泄露等),提出了AVERITEC数据集。该数据集包含4568条真实世界声明,源自50个事实核查机构,每条声明均标注了由网络证据支持的问答对、解释证据如何推导结论的文本理由,以及真实性标签。文章详细介绍了数据集的标注流程(含声明标准化、多轮问答生成与证据充分性校验)、数据统计特征、基线模型构建(基于谷歌搜索、BM25、立场检测等技术)及评估方案,并分析了数据集的局限性与伦理考量。
创新点
- 解决现有数据集三大核心问题:通过声明标准化避免上下文依赖,通过多轮标注与盲审确保证据充分性,通过时间限制与数据集时序划分杜绝时间泄露。
- 结构化标注设计:首次同时提供问答分解(拆解事实核查过程)和文本理由(解释证据到结论的推导),支持多跳推理与冲突证据呈现。
- 新增标签类别:在“支持”“反驳”“证据不足”基础上,增加“冲突证据/选择性呈现”标签,适配真实世界中存在的误导性声明场景。
- 实用评估方案:提出基于Hungarian METEOR的近似匹配 metric,适配开放网络证据检索场景,支持单独评估问题生成质量与完整问答对质量。
译文(Markdown格式)
Abstract
现有自动事实核查数据集存在诸多显著局限,例如依赖人工构造的声明、缺乏证据与中间推理过程的标
订阅专栏 解锁全文
1325



被折叠的 条评论
为什么被折叠?



