17、信息扩散预测的网络嵌入技术解析

信息扩散预测的网络嵌入技术解析

1. 模型基础假设与构建思路

在信息扩散预测中，提出假设：所有近期被感染的用户都应参与下一个被感染用户的预测，并且根据感染顺序进行不同处理。与基于 IC 和嵌入的方法所做的强假设相比，这种启发式假设使模型更灵活，能更好地拟合级联数据。基于这两个假设构建模型，主要包括提取活跃用户和统一这些嵌入以进行预测。

2. 利用注意力机制提取活跃用户

为计算活跃用户嵌入，采用注意力机制提取最可能的活跃用户，给予它们比其他用户更大的权重。用户 $u_j$ 的活跃嵌入计算如下：
$$act(u_j) = \sum_{k=0}^{j} w_{jk} emb(u_k)$$
其中，$u_k$ 的权重为：
$$w_{jk} = \frac{\exp(emb(u_j) emb(u_k)^T)}{\sum_{m=0}^{j} \exp(emb(u_j) emb(u_m)^T)}$$
这里，$w_{jk} \in (0, 1)$ 且 $\sum_{m=0}^{j} w_{jm} = 1$。该公式表明与 $emb(u_j)$ 内积较大的用户嵌入 $emb(u_k)$ 会被分配更大的权重 $w_{jk}$，符合对与用户 $u$ 强相关的用户给予更多关注的假设。

为充分利用神经模型的优势，进一步采用多头注意力机制来提高表达能力。在具有 $h$ 个头的多头注意力中，第 $i$ 个头的嵌入计算为：
$$head_i = \sum_{k=0}^{j} w_{jk}^i emb(u_k) W_V^i$$
其中：
$$w_{jk}^i = \frac{\exp(emb(u_j) W_Q^i (emb(u