39、DeBERTNeXT：多模态假新闻检测框架

DeBERTNeXT：多模态假新闻检测框架

1 引言

社交媒体的普及使得信息传播变得极为便捷，但同时也导致假新闻和错误信息以文本、图像、音频和视频等多种形式迅速扩散。2016 年美国大选后，假新闻问题受到广泛关注，因为大量虚假新闻通过社交媒体传播，而社交媒体是 14% 美国人获取新闻的主要来源。

虽然有许多事实核查网站和人工核查方法，但面对全球海量的新闻，手动核查既耗时又低效。因此，自动检测假新闻的方法越来越受欢迎。目前，仅基于文本内容检测假新闻的研究很多，但包含图像的文章被转发的次数是仅含文本文章的 11 倍，所以结合多模态数据进行分类至关重要。

然而，现有的多模态检测模型存在一些问题，如难以在大型数据集上获得高准确率，且难以充分利用不同模态的所有特征。为解决这些问题，我们提出了 DeBERTNeXT 模型，该模型在 Fakeddit、Politifact 和 Gossipcop 数据集上进行训练和测试，在准确率和其他指标上优于其他最先进的模型。

2 文献综述

知识图谱方法可验证新闻报道中主要陈述的真实性，但对于大量数据效率较低，且依赖专家判断新闻的真实性。目前，大量研究集中在文本内容上，使用 BERT 和 RoBERTa 等模型，但单模态方法不适用于多模态格式，因此后续提出了一些新的架构。

• SpotFake ：使用 BERT 学习文本特征，预训练的 VGG - 19 学习图像特征。
• SpotFake+ ：使用预训练的 XLNet 和 VGG - 19 进行图像和文本的联合分类。