谣言检测|论文阅读：Knowledge-Aware Multimodal Pre-Training for Fake News Detection

主要工作

• 通过预训练任务将无监督相关性作为补充来减少对注释的依赖。
• KAMP由一个新颖的多模态学习模型和各种精细的预训练任务组成，以同时从单模态、多模态和背景知识图中获取有价值的知识。

方法

• 首先，单模态编码器被用来在单模态内建模语义。
• 在输入新闻的文本和视觉内容上，提取适当的知识实体，提出了跨模态知识对齐。
• 最后，实现多模态知识融合，将知识与多模态内容集成，以学习信息丰富的新闻表示。
• 这三个模块捕捉不同的有价值的信号，负责处理不同类型的假新闻。
• 提出了五个提供补充信息的预训练任务。
• 该方法通过四个无监督学习任务，包括掩蔽语言建模、视觉多目标分类、图像-文本对比学习和知识-内容对比学习，获取跨模态相关性，并对常见知识和新闻内容之间的关系进行建模。
• 是第一个研究假新闻检测的知识感知多模态预训练任务

结构图

具体细节

• 文本编码器：RoBERT
• 图像编码器：类似于ViT
• 多模态知识对齐
  • 多模态知识提取：
    • 先提取输入新闻中的知识实体，使用Wikidata用作基础知识图谱
    • 对于文本内容的识别，使用NER定位新闻中提到的命名实体并将其分类到预定义的类别中。基于这些实体，从基础知识图谱中收集两跳内相关实体的相应描述和三元组，形成文本知识库
    • 对于图像内容的识别，使用目标检测提取核心目标，利用CLIP将将知识实体和视觉目标投影到一个共享空间中
    • 利用余弦相似度计算相似，选择大于最大值的相似实体作为对齐知识
    • 利用TransE进行知识图谱嵌入实体
  • 知识编码：
    • 利用超图表示每个实体，并将邻域表示为一个超边。每个超边将周围的所有实体与同一个提取的知识实体连接起来。在将顺序路径建模为超边之后，使用具有两级聚合的超图注意力网络（Hyper-GAT）来学习时间深度信息
    • 节点到边 注意力：超边缘节点通过聚合所有连接的节点来表示
    • 边到节点 注意力：整合节点所有参与的超边，以更新节点表示
• 多模态知识融合
  • 利用跨模态注意力机制 分别计算每种模态的attention 得分加权特征之后，再对其进行concat
• 4种预训练任务
  • 用于文本预训练的掩蔽语言建模（MLM）
    • 同 BERT预训练方法一致
  • 用于视觉预训练的视觉多目标分类（VCL）
    • 设计了一种视觉多目标分类丢失算法。
    • 动机在于一个理想的视觉编码器应该能够基于图像语义来定位知识实体。
    • 利用知识库在提取的目标实体，来作为标签进行训练（训练一个目标检测模型，使用YOLOv5）
  • 用于多模态预训练的图像-文本对比学习（ITC）
    • 在对比学习过程中，跨模态注意力机制被禁用以获得每个模态的单独表示，为了增加一个批次中的负片样本的数目，维持两个单独的队列以存储来自视觉和文本编码器的图像-文本对的最新表示。（类似于MOCO的训练方式）
  • 用于知识预训练的知识-内容对比学习（KCC）
    • 为了获得新闻内容和外部知识的分离表示，用于知识融合的交叉注意模块被禁用。类似于ITC方法，维护两个不同的队列来存储知识-内容对的最新表示。
  • 整个预训练过程
    • 将上述四种预训练任务的损失进行加权组合，来优化整个模型
• 分类
  • 模型完成预训练阶段后，微调新闻分类任务。最终的输出嵌入被输入到线性层中，并由sigmoid函数激活

利用外部知识相关的文献

• CompareNet [2]构建了一个有向异构文档图，通过实体将新闻与知识库进行比较。
• KAN [3]利用知识图来合并新闻的语义级和知识级信息以验证新闻。
• Qi等人首先导入视觉实体来建模与新闻相关的视觉语义，并桥接文本和图像的相关性[4]。
• Sun等人提出了一个知识引导的注意力网络来学习跨模态不一致性和内容-知识不一致性[5]。
• KMAGCN [1]将帖子建模为图形，并将知识概念与文本和视觉信息相结合。

[1] Shengsheng Qian, Jun Hu, Quan Fang, and Changsheng Xu.Knowledge-aware multi-modal adaptive graph convolutional net-works for fake news detection. ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM), 17(3):1–23, 2021.

[2] Linmei Hu, Tianchi Yang, Luhao Zhang, Wanjun Zhong, Duyu Tang,
Chuan Shi, Nan Duan, and Ming Zhou. Compare to the knowledge:
Graph neural fake news detection with external knowledge. In Proceedings ofthe 59th Annual Meeting ofthe Association for Com-
putational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 754–
763, 2021.

[3] Yaqian Dun, Kefei Tu, Chen Chen, Chunyan Hou, and Xiaojie Yuan.
Kan: Knowledge-aware attention network for fake news detection.
In Proceedings of the AAAI conference on artificial intelligence,
volume 35, pages 81–89, 2021.

[4 Peng Qi, Juan Cao, Xirong Li, Huan Liu, Qiang Sheng, Xiaoyue Mi,Qin He, Yongbiao Lv, Chenyang Guo, and Yingchao Yu. Improving
fake news detection by using an entity-enhanced framework to fuse
diverse multimodal clues. In Proceedings of the 29th ACM Interna-
tional Conference on Multimedia, pages 1212–1220, 2021.

[5] Mengzhu Sun, Xi Zhang, Jianqiang Ma, Sihong Xie, Yazheng Liu,
and S Yu Philip. Inconsistent matters: A knowledge-guided dual-
consistency network for multi-modal rumor detection. IEEE Trans-
actions on Knowledge and Data Engineering, 2023.