Enhancing Self-Consistency and Performance of Pre-Trained Language Model

本文是LLM系列文章，针对《Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference》的翻译。

摘要

虽然大型预训练语言模型很强大，但它们的预测在测试输入之间往往缺乏逻辑一致性。例如，最先进的Macaw问答(QA)模型回答“麻雀是鸟吗?”鸟有脚吗?麻雀有脚吗?为了解决这种失败模式，我们提出了一个框架，即通过关系检测一致性校正(ConCoRD)，用于使用预训练的自然语言推理(NLI)模型提高预训练的NLP模型的一致性和准确性，而无需微调或重新训练。给定一批测试输入，ConCoRD为每个输入采样几个候选输出，并实例化一个因子图，该因子图既说明了模型对孤立的每个答案选择的可能性的信念，也说明了NLI模型对成对的答案选择兼容性的信念。我们证明了一个加权的MaxSAT求解器可以在这个因素图下有效地计算高质量的答案选择，比原始模型的预测更好。我们的实验表明，ConCoRD使用现成的NLI模型持续提高了现成的闭卷QA和VQA模型的准确性和一致性，特别是将LXMERT在ConVQA上的准确性绝对提高了5%。有关代码和数据，请参阅项目网站。

1 引言

2 相关工作

3 通过关系检测进行一致性校正

4 实验

5 讨论与结论

我们已经提出了ConCoRD框架，用于使用预训练的NLI模型估计的关系来增强预训练语言模型的自一致性，表明它在各种设置下提高了现成的性能，而不需要任何微调。我们的研究结果表明，现有的预训练NLI模型可以成为提高NLP系统性能的一个有用的构建块，它可以为QA和视觉QA提供跨各种模型和数据集的模型预测之间的逻辑