SNIFFER: Multimodal Large Language Model for Explainable Out-of-Context Misinformation Detection

本文是LLM系列文章，针对《SNIFFER: Multimodal Large Language Model for Explainable Out-of-Context Misinformation Detection》的翻译。

摘要

由于其潜在的高风险，虚假信息是一个普遍存在的社会问题。断章取义（OOC）错误信息是误导观众的最简单、最有效的方法之一，真实的图像被虚假的文本重新利用。目前的方法侧重于评估图像文本的一致性，但对其判断缺乏令人信服的解释，这对揭穿错误信息至关重要。尽管多模态大型语言模型（MLLMs）在视觉推理和解释生成方面具有丰富的知识和天生的能力，但它们在理解和发现微妙的跨模态差异方面仍然缺乏成熟度。在本文中，我们介绍了SNIFFER，这是一种专门用于OOC错误信息检测和解释的新型多模态大型语言模型。SNIFFER在InstructionBLIP上采用两阶段指令调优。第一阶段改进了模型的通用对象与新闻域实体的概念对齐，第二阶段利用仅GPT-4生成的面向对象指令数据来微调模型的区分能力。通过外部工具和检索，SNIFFER不仅可以检测文本和图像之间的不一致，还可以利用外部知识进行上下文验证。我们的实验表明，SNIFFER比原始MLLM高出40%以上，在检测精度方面优于现有技术。SNIFFER还提供了准确和有说服力的解释，并通过定量和人为评估进行了验证。

1 引言

2 相关工作

3 方法

4 性能研究

5 结论

在本文中，我们提出了SNIFFER，这是一种用于上下文外错误信息检测的多模态大型语言模型，提供了判断和解释。为了开发SNIFFER，我们构建了GPT-4辅助的多视角指令数据，并采用指令调优来不断调整通用的Instructi