FactCC评价指标使用

FactCC介绍

Paper link: https://arxiv.org/abs/1910.12840
       Kryscinski等人[2020]提出了FactCC，这是一种模型，用于验证摘要句子在源文件中的事实一致性。FactCC通过微调预训练语言模型BERT来实现[Devlin等人，2019]，作为二进制分类器。他们还建议从摘要数据集CNN/DM自动生成合成训练数据[Hermann等人，2015]。训练示例是通过首先从源文档中抽取单个句子（后来称为索赔）来创建的。然后，声明通过一组文本转换，输出带有伪正负标签的新颖句子。正例是通过语义不变的变换（如转述）获得的。否定的例子是通过语义变化的转换获得的，如句子否定和实体交换。在测试阶段，FactCC将源文档和摘要语句作为输入，并输出该摘要语句的事实一致性标签。通过模拟不同类型的事实一致性错误，该方法在事实一致性评估中取得了一定的性能改进。

FactCC验证摘要事实性

1. 创建虚拟环境 再安装部分软件包

conda create -n 虚拟环境名称 python=3.6
pip install Cython
pip install apex 
pip install dataclasses
pip install wandb#最新的不可用 亲测0.14.0可用
# 下载https://github.com/salesforce/factCC/blob/master/requirements.txt
pip install -r requirement.txt

2. 克隆仓库

git clone https://github.com/dchenhe/factCC
# 下载检查点模型(解压到factCC目录下)
wget https://storage.googleapis.com/sfr-factcc-data-research/factcc-checkpoint.tar.gz
tar -zxvf factcc-checkpoint.tar.gz

3. 项目中的 test.sourcegold 和 test.targetgold 分别是自己需要准备测试的源文本和摘要文本数据（按照格式换成自己的）。paired_data下的 data-dev.jsonl 是源文本和摘要文本合成的文件

bash run.sh $1(gpu数量) $2(the path to the target) $3(the path to the source)

4. 图省事的话也可以直接把自己的数据直接整合成data-dev.jsonl ，再把run.sh中整合数据的代码去除掉，其余步骤一样