Can Large Language Models Detect Misinformation in Scientific News Reporting?

本文是LLM系列文章，针对《Can Large Language Models Detect Misinformation in Scientific News Reporting?》的翻译。

摘要

大众媒体经常歪曲科学事实，意图影响公众舆论和行动，新冠肺炎大流行期间就证明了这一点。由于这两种媒体类型的写作风格不同，自动检测科学领域的错误信息具有挑战性，目前仍处于萌芽阶段。大多数关于科学报告有效性的研究都将这一问题视为索赔验证的挑战。在这样做的过程中，需要大量的专家人力努力来提出适当的索赔。我们的解决方案绕过了这一步骤，解决了一个更真实的场景，在这个场景中，这种明确的、标记的声明可能不可用。本文的核心研究问题是，是否有可能使用大型语言模型（LLM）来检测科学报道中的错误信息。为此，我们首先提出了一个新的标记数据集SciNews，其中包含来自可信和不可信来源的2.4k个科学新闻故事，以及CORD-19数据库的相关摘要，CORD-19是新冠肺炎和历史冠状病毒研究的综合集合。我们的数据集包括人工撰写的新闻文章和LLM生成的新闻文章，使其在捕捉使用LLM生成流行新闻文章的日益增长的趋势方面更加全面。然后，我们确定科学新闻文章中科学有效性的维度，并探索如何将其整合到科学错误信息的自动检测中。我们提出了几种使用LLM来自动检测大众媒体中科学发现的虚假陈述的基线架构。我们的第一个架构SERIf使用三个模块：摘要、证据检索和推理来将新闻文章分类为假或真；第二种体系结构SIf绕过显式证据检索模块，同时保留其他两种体系结构，第三种体系结构D2I，直接到推理体系结构，其中删除了摘要和显式证据提取模块。对于这些体系结构中的每一个，我们都使用了几种提示工程策略，包括：零样本、少搜索和思想链提示。我们还在GPT-3.5、GPT-4和Llama2-7B、Llama2-13B上测试了这些架构和提示策略。我们注意到，就准确性和F-1得分而言，SIf体系结构表现最好，而朴素的D2I表现最差。