本文探讨了大型语言模型（LLM）在检测科学新闻报道中错误信息的可能性，通过创建SciNews数据集，包含真实和LLM生成的科学新闻，以及相关科学摘要。研究提出科学有效性的维度和三种架构，包括SERIf、SIf和D2I，用于自动检测错误信息。实验表明，SIf架构结合提示策略在识别不准确科学新闻方面表现最佳，而LLM在识别自身生成的错误信息时面临挑战。
本文是LLM系列文章，针对《Can Large Language Models Detect Misinformation in Scientific News Reporting?》的翻译。
大型语言模型能检测科学新闻报道中的错误信息吗？
摘要
大众媒体经常歪曲科学事实，意图影响公众舆论和行动，新冠肺炎大流行期间就证明了这一点。由于这两种媒体类型的写作风格不同，自动检测科学领域的错误信息具有挑战性，目前仍处于萌芽阶段。大多数关于科学报告有效性的研究都将这一问题视为索赔验证的挑战。在这样做的过程中，需要大量的专家人力努力来提出适当的索赔。我们的解决方案绕过了这一步骤，解决了一个更真实的场景，在这个场景中，这种明确的、标记的声明可能不可用。本文的核心研究问题是，是否有可能使用大型语言模型（LLM）来检测科学报道中的错误信息。为此，我们首先提出了一个新的标记数据集SciNews，其中包含来自可信和不可信来源的2.4k个科学新闻故事，以及CORD-19数据库的相关摘要，CORD-19是新冠肺炎和历史冠状病毒研究的综合集合。我们的数据集包括人工撰写的新闻文章和LLM生成的新闻文章，使其在捕捉使用LLM生成流行新闻文章的日益增长的趋势方面更加全面。然后，我们确定科学新闻文章中科学有效性的维度，并探索如何将其整合到科学错误信息的自动检测中。我们提出了几种使用LLM来自动检测大众媒体中科学发现的虚假陈述的基线架构。我们的第一个架构SERIf使用三个模块：
已下架不支持订阅
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
