20、基于BERT的两阶段短假新闻检测模型

基于BERT的两阶段短假新闻检测模型

1. 相关工作

1.1 文本分类与假新闻检测

文本分类是自然语言处理中最基本的任务之一，其发展经历了从基于规则到基于统计的方法，如今大多基于机器学习或深度学习。假新闻检测是文本分类任务的子任务，可定义为根据新闻真实性的连续体对新闻进行分类，并给出相应的确定性度量。人类在识别假新闻时的成功率仅为50 - 63%，因为从难以区分的陈述中提取有效信息颇具难度。

假新闻检测模型大致可分为新闻内容模型和社会上下文模型：
- 新闻内容模型 ：依赖新闻内容特征和现有事实来源对假新闻进行分类。例如，Karimi提出的MMDF框架使用多源信息，包括陈述、元数据、历史和报告。
- 社会上下文模型 ：在分析中纳入相关用户的社会参与度，从多个角度捕捉辅助信息。如Qian提出的TCNN - URG用于捕捉语义信息并建模用户评论；Liu将每条新闻的传播路径建模为多元时间序列，用于社交媒体上假新闻的早期检测；Shu利用发布者、新闻和用户之间的三元关系，有望提高假新闻检测的效果。

1.2 注意力机制

注意力机制用于权衡源与目标之间的依赖关系，使输入的某些部分与输出更相关，从而让我们更关注这些部分。Bahdanau首次将注意力机制引入神经机器翻译，以帮助记忆长源句子并提高系统的鲁棒性。此后，该机制扩展到计算机视觉领域，人们也开始探索其变体。

注意力机制的变体包括：
- 全局和局部注意力 ：Luong根据注意力窗口的大小提出了全局注意力和局部注意力两种机制。