Calibrating Factual Knowledge in Pretrained Language Models 事实校准 emnlp2022

Abstract

背景：预训练模型可以存储事实知识，但存储在预训练模型中的数据不总是正确的。
目标：在不从头开始进行再训练的情况下，校准plm中的事实知识
本文：提出了一种简单而轻量级的方法来实现这一目标
方法：首先检测plm是否可以通过正确事实和虚假事实之间的对比分数来学习正确的事实。如果没有，我们使用轻量级的方法来添加和调整新的参数以适应特定的事实文本。
实验分析：对知识探测任务的实验表明了校准的有效性和有效性。此外，通过闭书问答，我们发现校准后的PLM经过微调后具有知识泛化能力。
除了校准性能外，我们还进一步研究和可视化了知识校准机制。这些代码和数据可以在https://github.com/dqxiu/CaliNet上获得。

introduction

为了处理虚假的事实，以前的工作集中于为特定的下游任务补充或修改知识。Yao等人（2022）提出在微调过程中检索外部知识。Cao等人（2021b）在微调后修改特定的知识。然而，这些方法并不适用于多个任务。
在本文中，我们探索了一种任务无偏（ task-agnostic）的方法来直接校准plm中的一般事实知识，而无需从头开始进行再训练。我们的目的是纠正plm中的虚假事实。由于每个事实都有多个表面，我们也期望校准后的知识应该可以推广到不同的文本表面。图1说明了校准的过程。

首先，我们使用对比知识评估（CKA