一、SQuAD 1.1
SQuAD 是由 Rajpurkar等人提出的一个 抽取式QA数据集 [闭集]。该数据集包含 10 万 个(问题,原文,答案)三元组,原文来自于 536 篇维基百科文章。
对于每个文章的问题(<=5),有很多标注人员标注答案,且答案出现在原文中。
二、SQuAD 2.0
相较SQuAD 1.1中的10万问答, SQuAD 2.0又 新增了5万 个人类撰写的问题——而且 问题不一定有对应答案。
三、评测指标
SQuAD数据集有两个衡量标准,EM和F1。
EM 是 精确匹配结果,也就是模型给出的答案与标准答案一模一样。