【论文解读】Mining Dual Emotion for Fake News Detection

本文主要内容：

• 本文主要是对以下论文进行解读
  《Xueyao Zhang, Juan Cao, Xirong Li, Qiang Sheng, Lei Zhong, and Kai Shu. 2021. Mining Dual Emotion for Fake News Detection. In Proceedings of the Web Conference 2021 (WWW '21). Association for Computing Machinery, New York, NY, USA, 3465–3476. DOI:https://doi.org/10.1145/3442381.3450004》
• 论文作者提供的代码
  【https://github.com/RMSnow/WWW2021】
• 论文模型的主要任务
  给定一则新闻$T$、该新闻是真实或虚假新闻的标签$y$、该则新闻的若干条评论$M=[M_1,M_2,...,M_i,...,M_{L_M}]$。现在需要设计出一个模型，基于$T$、$M$来预测出$\hat{y}$，使得$y$和$\hat{y}$一致。

模型整体思路

目前的模型大多是仅关注新闻文本所体现的Publisher Emotion，而忽略了该则新闻的评论所体现的Social Emotion。本文分别对新闻文本和新闻评论，各提取出情感特征。并将这两种特征同时添加入以往的fake news detector分类器（BI-GRU、BERT）中。实验结果表明，添加了这两种特征，能显著提升分类效果。

Publisher Emotion

给定含有$L$个单词的文本 $T=[t_1,t_2,...,t_i,...,t_L]$，及一个情感分类器$f()$，

得到分类结果的概率为$em{o}_T^{cate}\in R^{d_f}$，其中$d_f$是情感的种类数量：

$$em{o}_T^{cate}=f(T)\text{\hspace{1em}(1)}$$

假设Emotional Lexicon里共有$d_e$种情感，记E={e1,e2,...,ede}E=\{ e_1,e_2,...,e_{d_e} \}E={e1​,e2​,...,ede​​}。针对每种情感都有一个字典ϵe={we,1,we,2,...,we,Le}\epsilon_e=\{ w_{e,1},w_{e,2},...,w_{e,L_e} \}ϵe​={we,1​,we,2​,...,we,Le​​}。

使用每种情感的字典${ϵ}_e$，去遍历文本$T$中的每个单词$t_i$，可以得到文本$T$中各单词在每种情感下的得分：

$$\{\begin{array}{l}{e}_1:[s(t_1,e_1),s(t_2,e_1),...,s(t_L,e_1)]\\ e_2:[s(t_1,e_2),s(t_2,e_2),...,s(t_L,e_2)]\\ \cdot \\ \cdot \\ \cdot \\ e_{d_e}:[s(t_1,e_{d_e}),s(t_2,e_{d_e}),...,s(t_L,e_{d_e})]\end{array}\text{\hspace{1em}(2)}$$

在一个情感$e_i$下，对于文本$T$中各个单词$t_i$的得分相加，得到文本$T$在不同情感$e_i$下的得分$s(T,e_i)$：
$$\{\begin{array}{l}{e}_1:s(T,e_1)\\ e_2:s(T,e_2)\\ \cdot \\ \cdot \\ \cdot \\ e_{d_e}:s(T,e_{d_e})\end{array}\text{\hspace{1em}(3)}$$

将文本$T$在不同情感$e_i$下的得分$s(T,e_i)$拼接成一个$d_e$维的向量，其包含了文本$T$在不同情感下的倾向信息：

$$em{o}_T^{lex}=s(T,e_1)\oplus s(T,e_2)\oplus \cdots \oplus s(T,e_{d_e})$$

例如在考虑情感happy时，单词esctatic比单词joyful更强烈，因此需要考虑单词的情感强度$int(t_i)$，其可以通过情感字典计算得到。intensity-aware text-level scores为：
$$s^{\prime }(T,e)=\sum _{i=1}^L{s}^{\prime }(t_i,e)=\sum _{i=1}^{L}int(t_i)s(t_i,e),\forall e\in E$$

将文本$T$在$d_e$种情感下的intensity-aware text-level scores进行拼接，得到情感强度特征$em{o}_t^{int}\in R^{d_e}$：
$$em{o}_t^{int}=s^{\prime }(T,e_1)\oplus s^{\prime }(T,e_2)\oplus \cdots \oplus s^{\prime }(T,e_{d_e})$$

除了上文提到的emotion-level特征，此处根据sentiment dictionary或public toolkits可以得到coarse-grained的情感得分，即非负则正的情感极性$em{o}_T^{senti}\in R^{d_s}$ ，通常$d_s=1$

另外，情感符号、标点符号、大写字母等也能表达情绪。假设共有$d_a$种特征，本文根据下表可以得到额外的辅助特征$em{o}_T^{aux}\in R^{d_a}$:

最终，文本$T$的Publisher Emotion为$em{o}_T\in R^{df+2d_e+d_s+d_a}$：

$$em{o}_T=em{o}_T^{cate}\oplus em{o}_T^{lex}\oplus em{o}_T^{int}\oplus em{o}_T^{senti}\oplus em{o}_T^{aux}$$

Social Emotion

假设一则新闻共有$L_M$条评论，$M=[M_1,M_2,...,M_i,...,M_{L_M}]$，则根据上文的计算过程，将这$L_M$条评论的特征汇聚，得到social emotion特征 $\overline{em{o}_M}\in R^{L_M\times d}$：

$$\overline{em{o}_M}=em{o}_{M_1}^T\oplus em{o}_{M_2}^T\oplus \cdots \oplus em{o}_{M_{L_M}}^T$$

使用Mean pooling计算情感的平均信号$em{o}_M^{mean}\in R^d$，使用max pooling计算情感的极端信号$em{o}_M^{max}\in R^d$：

$$em{o}_M^{mean}=mean(\overline{em{o}_M})em{o}_M^{max}=max(\overline{em{o}_M})$$

最后Social Emotion表达为$em{o}_M\in R^{2d}$：
$$em{o}_M=em{o}_M^{mean}\oplus em{o}_M^{max}$$

Emotion Gap

为了特显Publisher Emotion和Social Emotion的不同之处，计算特征$em{o}_M^{mean}\in R^{2d}$：
$$em{o}^{gap}=(em{o}_T-em{o}_M^{mean})\oplus (em{o}_T-em{o}_M^{max})$$

Dual Emotion Features

$$em{o}^{dual}=em{o}_T\oplus em{o}_M\oplus em{o}^{gap}$$

Fake News Detection

假设现在BiGRU是虚假新闻分类器，则$BiBU{R}_T$是其输出的特征，现在将$BiBU{R}_T$与$em{o}^{dual}$进行拼接，再放到MLP、Softmax中进行最终分类，得到新闻的虚实预测结果$\hat{y}$:
$$\hat{y}=Softmax(MLP([BiGR{U}_T,em{o}^{dual}]))$$