7、网络嵌入技术：上下文感知与最大间隔模型的探索

网络嵌入技术：上下文感知与最大间隔模型的探索

1. 上下文感知网络嵌入（CANE）方法

在网络嵌入领域，上下文感知网络嵌入（CANE）方法旨在更精准地捕捉网络中节点之间的关系。其具体步骤如下：
- 计算相关性分数 ：矩阵 $F$ 中的每个元素 $F_{i,j}$ 代表两个隐藏向量 $P_i$ 和 $Q_j$ 之间的成对相关性分数。
- 池化操作生成重要性向量 ：对 $F$ 进行行和列的池化操作，生成重要性向量。实验表明，均值池化比最大池化效果更好，因此采用均值池化操作：
- $g_p^i = mean(F_{i,1}, \cdots, F_{i,n})$
- $g_q^i = mean(F_{1,i}, \cdots, F_{m,i})$
- 得到 $P$ 和 $Q$ 的重要性向量分别为 $g_p = [g_p^1, \cdots, g_p^m]^T$ 和 $g_q = [g_q^1, \cdots, g_q^n]^T$。
- 生成注意力向量 ：使用 softmax 函数将重要性向量 $g_p$ 和 $g_q$ 转换为注意力向量 $a_p$ 和 $a_q$。例如，$a_p$ 的第 $i$ 个元素为：
- $a_p^i = \frac{exp(g_p^i)}{\sum_{j \in [1,m]} exp(g_p^j)}$
- 计算上下文感知文本嵌入 ：顶点 $u$ 和 $v$ 的上下文感知文本嵌入分别为：
- $u_t(v) = P a_p$
- $v_t(u) = Q a