Optimizing Instruction-Following Language Models with External Knowledge for Automated Fact-Checking

本文是LLM系列文章，针对《FactLLaMA: Optimizing Instruction Following Language Models with External Knowledge for Automated Fact Checking》的翻译。

FactLLaMA：利用外部知识优化指令遵循语言模型实现自动事实核查

摘要
1 引言
2 相关工作
3 方法
4 实验设置和结果
5 结论

摘要

自动事实核查在打击错误信息传播方面发挥着至关重要的作用。大型语言模型（LLM）和指令跟随变体，如InstructionGPT和Alpaca，在各种自然语言处理任务中表现出了显著的性能。然而，他们的知识可能并不总是最新的或足够的，这可能会导致事实核查的不准确。为了解决这一限制，我们建议将指令遵循语言模型的能力与外部证据检索相结合，以提高事实核查性能。我们的方法包括利用搜索引擎来检索给定输入声明的相关证据。这些外部证据是有价值的补充信息，可以增强对预训练语言模型的了解。然后，我们使用这些证据指导调优一个名为LLaMA的开源语言模型，使其能够更准确地预测输入声明的真实性。为了评估我们的方法，我们在两个广泛使用的事实核查数据集上进行了实验：RAWFC和LIAR。结果表明，我们的方法在事实核查任务中实现了最先进的性能。通过整合外部证据，我们弥合了模型知识与最新和充分的可用上下文之间的差距，从而改善了事实核查结果。我们的研究结果对打击错误信息和促进在线平台上准确信息的传播具有重要意义。我们发布的材料可访问：https://thcheung.github.io/factllama。