42、高效网络表示学习：NEEF模型解析

Linux

于 2025-10-16 11:54:13 发布

阅读量33

点赞数

CC 4.0 BY-SA版权

分类专栏：知识科学前沿洞察文章标签： NEEF模型网络表示学习边特征

本文链接：https://blog.youkuaiyun.com/linux/article/details/153620756

知识科学前沿洞察专栏收录该内容

46 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

高效网络表示学习：NEEF模型解析

1. NEEF模型概述

NEEF（Network Embedding with Edge Features）是一种用于学习带有边特征的网络嵌入的新型模型。它首先借鉴了DeepWalk的思想，对以边为中心的图进行随机游走采样，将输入图均匀采样为多个随机游走序列。对于加权图，从顶点$v_i$开始，按照与$v_i$相关联的边的权重比例来采样游走序列，这些游走序列可视为语言模型的输入语料。

与传统的Skip - gram模型不同，NEEF模型在训练时最大化了在窗口$w$内出现的每对顶点在边特征条件下的共现概率。其目标函数定义如下：
[Pr(v_j|v_i; F) = \frac{\exp((\overrightarrow{c_j} \circ f_{ij})^T \cdot (\overrightarrow{u_i} \circ f_{ij}))}{\sum_{l \in V} \exp((\overrightarrow{c_l} \circ f_{il})^T \cdot (\overrightarrow{u_i} \circ f_{il}))}]
其中，$\circ$表示向量之间的逐元素乘积，意味着对于每个训练对，顶点向量首先被投影到边特征空间；$\overrightarrow{u_i}$是顶点$v_i$的表示；$\overrightarrow{c_j}$是顶点$v_j$作为$v_i$的“上下文”时的表示；$f_{ij} \in F$表示从特征构造中得到的边$e_{ij}$的特征。

NEEF模型的具体算法如下：

Algorithm 1. NEEF Model
Input: Graph G(V, E, F)
window size w
learning rate α
Output: representations of vertices $\overrightarrow{u} \in R^{|V| \times d}$
1: Initialization: sample $\overrightarrow{u}$ from $R^{|V| \times d}$ randomly
2: for each $v_l \in V$ do
3:
    Generate random walks $W_{v_l}$
4:
    for each $v_i \in W_{v_l}$ do
5:
    for each $v_j \in W_{v_l}[i - w : i + w]$ do
6:
        $J(\overrightarrow{u}) = -\log Pr(v_j|v_i; F)$
7:
        $\overrightarrow{u} = \overrightarrow{u} - \alpha * \frac{\partial J}{\partial \overrightarrow{u}}$
8:
    end for
9:
    end for
10: end for

2. 模型优化

为了避免目标函数中归一化因子的昂贵计算，NEEF采用了负采样方法。对于每条边$(i, j)$，损失函数定义如下：
[J(\overrightarrow{u}) = -\log \sigma((\overrightarrow{c_j} \circ f_{ij})^T \cdot (\overrightarrow{u_i} \circ f_{ij})) - \sum_{i = 1}^{K} E_{c_v \sim P_n(v)}[\log \sigma((\overrightarrow{c_v} \circ f_{iv})^T \cdot (\overrightarrow{u_i} \circ f_{iv}))]]
其中，$\sigma(\cdot)$是Sigmoid函数，定义为$\sigma(x) = \frac{1}{1 + \exp(-x)}$；$K$是负样本的数量；$E_{c_v \sim P_n(v)}[\cdot]$表示当负实例$c_v$遵循分布$P_n(v)$时的期望。通常设置$P_n(v) \propto d_v^{0.75}$，其中$d_v$是顶点$v$在采样游走中的频率计数。

为了优化损失函数，NEEF采用了异步随机梯度算法（ASGD），该算法已被证明在并行优化方面是高效的。

3. 实验设计

3.1 数据集

为了评估NEEF模型的性能，使用了三个以边为中心的网络数据集：
|数据集名称|描述|顶点数|边数|边特征维度|
| ---- | ---- | ---- | ---- | ---- |
|DBLP Coauthor Network|包含2001 - 2011年三个领域顶级会议的数据，提取论文标题作为边内容|3,136|28,964|1518|
|Reddit Review Network|包含Reddit三个子论坛（电影、政治、科学）的用户交互数据，提取用户之间的评论作为边内容|4,759|35,598|9224|
|Enron Email Network|包含1700封标记为53个类别的电子邮件消息，顶点表示发件人和收件人，边表示通信|306|4,923|13608|

3.2 基线方法

选择了几种具有代表性的模型作为基线方法：
- NMF ：使用非负矩阵分解方法生成重叠模块，可通过社交维度学习来学习$R^d$表示。
- EdgeCluster ：从以边为中心的聚类方案中提取稀疏社交维度，适用于大型网络。
- Modularity ：从模块化矩阵的前$d$个特征向量生成$R^d$表示。
- DeepWalk ：仅考虑链接信息来学习社交网络的表示。
- CESNA ：从链接结构和节点特征中提取社区成员信息，可学习潜在的社交维度。
- TADW ：通过证明DeepWalk等价于矩阵分解，将文本特征纳入网络表示学习中，特征与顶点相关联。

3.3 参数设置

对于所有数据集，边特征用$R^{|E| \times d}$表示，其中$d$是学习表示的大小。对于CESNA和TADW，从顶点中心视角准备节点特征。初始学习率设置为0.025，负样本数量为5。对于DeepWalk和NEEF模型，使用加权随机游走对网络结构进行采样，设置每个顶点的游走次数$\gamma = 40$，游走长度$T = 40$，窗口大小$w = 10$。对于TADW模型，对学习到的表示进行L2归一化。

3.4 评估指标

在分类和聚类任务上对NEEF模型和基线方法进行了实验评估：
- 分类：使用LibLinear实现的一对多线性SVM进行分类，并使用F1分数作为分类指标。对于每个训练比例，随机选择顶点作为训练数据10次，并报告平均性能。F1分数计算公式为：
[F1 = \frac{2 \times precision \times recall}{precision + recall}]
- 聚类：使用准确率（AC）分数和归一化互信息（NMI）分数来评估聚类性能。AC表示最佳匹配簇的大小除以总顶点数，NMI计算公式为：
[NMI(X; Y) = \frac{2 \sum_{x,y} p(x, y) \log \frac{p(x,y)}{p(x)p(y)}}{-\sum_{x} p(x) \log p(x) - \sum_{y} p(y) \log p(y)}]
其中，$X(Y)$是网络的一个划分，$p(\cdot)$是概率分布函数。

4. 实验结果

4.1 分类结果

通过不同训练比例在三个数据集上的分类结果表明，基于DeepWalk，TADW在DBLP合著网络和Enron电子邮件网络上通过纳入节点特征取得了比DeepWalk更好的性能，但在Reddit评论网络上的表现不佳，说明以顶点为中心的视角并不总是适用于这些特定网络。而NEEF能够从以边为中心的视角处理带有边特征的网络，在大多数情况下始终优于其他所有基线方法。

以下是部分分类结果示例（以DBLP Coauthor Network为例）：
|Metric|Type|Algorithm|10%|20%|30%|40%|50%|60%|70%|80%|90%|
| ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- |
|Micro - F1|Link only|NMF|76.23|79.85|81.28|82.53|82.83|83.39|83.41|83.56|84.30|
|Micro - F1|Link only|EdgeCluster|80.00|82.61|83.61|84.22|84.47|84.53|84.65|84.84|85.04|
|Micro - F1|Link only|Modularity|73.43|81.94|85.26|86.65|87.40|87.97|88.05|88.23|88.77|
|Micro - F1|Link only|DeepWalk|86.56|87.39|87.81|88.00|88.16|88.33|88.35|88.47|88.44|
|Micro - F1|Link + Node feature|CESNA|76.68|80.64|82.34|83.32|84.03|84.41|84.67|84.80|84.97|
|Micro - F1|Link + Node feature|TADW(d = 200)|87.08|88.53|89.08|89.50|89.68|90.02|90.16|90.43|90.53|
|Micro - F1|Link + Node feature|TADW(d = 128)|86.79|88.13|88.68|89.02|89.29|89.46|89.54|89.72|89.82|
|Micro - F1|Link + Edge feature|NEEF(d = 200)|87.88|88.78|89.09|89.52|89.70|89.80|90.39|90.94|91.52|
|Micro - F1|Link + Edge feature|NEEF(d = 128)|86.80|88.01|88.53|89.12|89.43|89.66|89.79|90.10|90.54|
|Macro - F1|Link only|NMF|76.23|79.82|81.24|82.48|82.77|83.33|83.36|83.48|84.26|
|Macro - F1|Link only|EdgeCluster|79.99|82.58|83.59|84.20|84.45|84.52|84.63|84.80|85.03|
|Macro - F1|Link only|Modularity|73.41|81.88|85.19|86.59|87.34|87.91|88.01|88.17|88.73|
|Macro - F1|Link only|DeepWalk|86.51|87.37|87.79|87.99|88.15|88.32|88.35|88.46|88.41|
|Macro - F1|Link + Node feature|CESNA|76.65|80.60|82.29|83.27|83.98|84.36|84.62|84.77|84.95|
|Macro - F1|Link + Node feature|TADW(d = 200)|86.87|88.35|88.93|89.35|89.65|89.88|90.03|90.30|90.42|
|Macro - F1|Link + Node feature|TADW(d = 128)|86.57|87.94|88.51|88.86|89.14|89.32|89.40|89.59|89.70|
|Macro - F1|Link + Edge feature|NEEF(d = 200)|87.87|88.77|89.07|89.51|89.67|89.76|90.33|90.84|91.40|
|Macro - F1|Link + Edge feature|NEEF(d = 128)|86.68|87.81|88.32|88.59|88.89|89.24|89.49|89.52|90.05|

4.2 聚类结果

在聚类任务中，使用k - means算法对学习到的嵌入进行聚类。由于Enron电子邮件网络中簇之间的重叠过多，仅报告了DBLP合著网络和Reddit评论网络的聚类结果。结果显示，NEEF在这两个数据集上的表现均优于其他基线方法。

以下是部分聚类结果示例：
|Type|Algorithm|NMI|AC|
| ---- | ---- | ---- | ---- |
|Link only|NMF|12.65|52.17|
|Link only|EdgeCluster|7.08|47.54|
|Link only|Modularity|14.08|48.34|
|Link only|DeepWalk|56.30|85.84|
|Link + Node feature|CESNA(d = 200)|15.65|50.13|
|Link + Node feature|CESNA(d = 128)|14.76|51.98|
|Link + Node feature|TADW(d = 200)|57.67|86.22|
|Link + Node feature|TADW(d = 128)|56.34|85.68|
|Link + Edge feature|NEEF(d = 200)|57.65|85.75|
|Link + Edge feature|NEEF(d = 128)|58.03|86.61|

5. 参数敏感性

通过实验评估了模型在不同维度$d$下的性能。结果表明，NEEF在DBLP合著网络和Reddit评论网络上，当维度$d$接近200时取得最佳性能；在Enron电子邮件网络上，维度$d$接近128时性能最佳。并且，模型的最优维度$d$与训练比例无关。

6. 案例研究

为了更好地理解NEEF模型学习到的表示，在DBLP合著网络上进行了两个案例研究。
- 可视化 ：使用标准的t - SNE工具将学习到的表示映射到二维空间。结果显示，NEEF和TADW通过考虑链接信息和内容信息，比DeepWalk表现更好，并且NEEF的组边界比TADW更清晰，这证明了NEEF能够捕捉顶点之间的动态交互。
- 细粒度表示 ：NEEF将边特征投影到顶点的表示中，每个维度的值代表作者对相关潜在主题的偏好。通过对DBLP合著网络中度数最大的前5位作者进行分析，提取了他们学习到的嵌入中的前15个最频繁的关键词，表明NEEF模型能够很好地捕捉边特征，这种细粒度的表示便于进行层次聚类和特定主题的链接预测。

综上所述，NEEF模型在学习带有边特征的网络嵌入方面表现出色，能够自然地将边特征投影到学习到的表示中，其细粒度的表示对于许多网络挖掘任务具有重要意义。在分类、聚类和可视化实验中，NEEF模型的性能均优于基线方法。未来，NEEF模型还有许多有前景的研究方向，如预测缺失边、将模型扩展到动态和异构网络以及探索更多的应用场景。

高效网络表示学习：NEEF模型解析

7. NEEF模型优势总结

边特征融合能力强 ：NEEF模型独特之处在于能够自然地将边特征投影到顶点的表示中。在传统的网络表示学习模型中，往往只关注节点信息或者链接信息，而NEEF充分利用了边特征，使得每个维度的表示都与相关的潜在主题紧密相关。例如在DBLP合著网络的案例中，通过提取作者学习到的嵌入中的关键词，能够清晰地看到作者在不同研究领域的偏好，这是其他基线方法所不具备的优势。
适应性广泛 ：从实验结果来看，NEEF在多个不同类型的数据集上都表现出色。无论是DBLP合著网络、Reddit评论网络还是Enron电子邮件网络，NEEF都能在分类和聚类任务中优于其他基线方法。这表明NEEF具有很强的适应性，能够处理不同规模、不同特征维度的网络数据。
捕捉动态交互 ：在可视化案例中，NEEF能够捕捉顶点之间的动态交互，使得同一研究领域的作者在低维空间中更紧密地聚集在一起，且组边界更加清晰。相比之下，DeepWalk只考虑链接信息，TADW虽然考虑了内容信息但在组边界的划分上不如NEEF，这充分体现了NEEF在捕捉网络中复杂关系方面的能力。

8. NEEF模型操作流程总结

下面通过mermaid流程图展示NEEF模型的主要操作流程：

graph LR
    A[输入图G(V, E, F)、窗口大小w、学习率α] --> B[随机初始化顶点表示向量u]
    B --> C[遍历每个顶点vl]
    C --> D[为顶点vl生成随机游走序列Wvl]
    D --> E[遍历游走序列Wvl中的每个顶点vi]
    E --> F[遍历vi窗口范围内的每个顶点vj]
    F --> G[计算损失函数J(u) = -log Pr(vj|vi; F)]
    G --> H[更新顶点表示向量u = u - α * ∂J/∂u]
    H --> I{是否遍历完所有vj}
    I -- 否 --> F
    I -- 是 --> J{是否遍历完所有vi}
    J -- 否 --> E
    J -- 是 --> K{是否遍历完所有vl}
    K -- 否 --> C
    K -- 是 --> L[输出顶点表示向量u]

9. 性能对比表格汇总

为了更直观地对比NEEF模型和其他基线方法的性能，下面汇总了分类和聚类任务的部分关键结果：
|数据集|任务|算法|Micro - F1（部分比例）|Macro - F1（部分比例）|NMI|AC|
| ---- | ---- | ---- | ---- | ---- | ---- | ---- |
|DBLP Coauthor Network|分类|NMF|76.23（10%） - 84.30（90%）|76.23（10%） - 84.26（90%）| - | - |
|DBLP Coauthor Network|分类|EdgeCluster|80.00（10%） - 85.04（90%）|79.99（10%） - 85.03（90%）| - | - |
|DBLP Coauthor Network|分类|Modularity|73.43（10%） - 88.77（90%）|73.41（10%） - 88.73（90%）| - | - |
|DBLP Coauthor Network|分类|DeepWalk|86.56（10%） - 88.44（90%）|86.51（10%） - 88.41（90%）| - | - |
|DBLP Coauthor Network|分类|CESNA|76.68（10%） - 84.97（90%）|76.65（10%） - 84.95（90%）| - | - |
|DBLP Coauthor Network|分类|TADW(d = 200)|87.08（10%） - 90.53（90%）|86.87（10%） - 90.42（90%）| - | - |
|DBLP Coauthor Network|分类|TADW(d = 128)|86.79（10%） - 89.82（90%）|86.57（10%） - 89.70（90%）| - | - |
|DBLP Coauthor Network|分类|NEEF(d = 200)|87.88（10%） - 91.52（90%）|87.87（10%） - 91.40（90%）| - | - |
|DBLP Coauthor Network|分类|NEEF(d = 128)|86.80（10%） - 90.54（90%）|86.68（10%） - 90.05（90%）| - | - |
|DBLP Coauthor Network|聚类|NMF| - | - |12.65|52.17|
|DBLP Coauthor Network|聚类|EdgeCluster| - | - |7.08|47.54|
|DBLP Coauthor Network|聚类|Modularity| - | - |14.08|48.34|
|DBLP Coauthor Network|聚类|DeepWalk| - | - |56.30|85.84|
|DBLP Coauthor Network|聚类|CESNA(d = 200)| - | - |15.65|50.13|
|DBLP Coauthor Network|聚类|CESNA(d = 128)| - | - |14.76|51.98|
|DBLP Coauthor Network|聚类|TADW(d = 200)| - | - |57.67|86.22|
|DBLP Coauthor Network|聚类|TADW(d = 128)| - | - |56.34|85.68|
|DBLP Coauthor Network|聚类|NEEF(d = 200)| - | - |57.65|85.75|
|DBLP Coauthor Network|聚类|NEEF(d = 128)| - | - |58.03|86.61|
|Reddit Review Network|分类|NMF|77.29（10%） - 77.72（90%）|73.01（10%） - 77.32（90%）| - | - |
|Reddit Review Network|分类|EdgeCluster|46.62（10%） - 49.74（90%）|30.42（10%） - 35.73（90%）| - | - |
|Reddit Review Network|分类|Modularity|42.65（10%） - 49.66（90%）|35.62（10%） - 40.40（90%）| - | - |
|Reddit Review Network|分类|DeepWalk|97.48（10%） - 97.88（90%）|97.21（10%） - 97.65（90%）| - | - |
|Reddit Review Network|分类|CESNA|84.31（10%） - 89.42（90%）|82.74（10%） - 88.47（90%）| - | - |
|Reddit Review Network|分类|TADW(d = 200)|91.95（10%） - 93.40（90%）|91.38（10%） - 92.97（90%）| - | - |
|Reddit Review Network|分类|TADW(d = 128)|91.7（10%） - 93.79（90%）|91.08（10%） - 93.37（90%）| - | - |
|Reddit Review Network|分类|NEEF(d = 200)|97.69（10%） - 98.04（90%）|97.45（10%） - 97.96（90%）| - | - |
|Reddit Review Network|分类|NEEF(d = 128)|97.68（10%） - 97.97（90%）|97.45（10%） - 97.79（90%）| - | - |
|Reddit Review Network|聚类|NMF| - | - |28.59|60.12|
|Reddit Review Network|聚类|Modularity| - | - |11.43|40.03|
|Reddit Review Network|聚类|DeepWalk| - | - |86.86|97.00|
|Reddit Review Network|聚类|CESNA(d = 200)| - | - |54.13|72.41|
|Reddit Review Network|聚类|CESNA(d = 128)| - | - |53.01|81.51|
|Reddit Review Network|聚类|TADW(d = 128)| - | - |66.88|89.49|
|Reddit Review Network|聚类|TADW(d = 64)| - | - |52.04|77.45|
|Reddit Review Network|聚类|NEEF(d = 200)| - | - |88.14|97.46|
|Reddit Review Network|聚类|NEEF(d = 128)| - | - |88.41|97.58|
|Enron Email Network|分类|NMF|72.97（10%） - 78.07（90%）|50.56（10%） - 51.82（90%）| - | - |
|Enron Email Network|分类|EdgeCluster|74.18（10%） - 79.31（90%）|50.78（10%） - 51.08（90%）| - | - |
|Enron Email Network|分类|Modularity|68.63（10%） - 63.27（90%）|47.54（10%） - 41.89（90%）| - | - |
|Enron Email Network|分类|DeepWalk|78.43（10%） - 84.34（90%）|56.12（10%） - 58.97（90%）| - | - |
|Enron Email Network|分类|CESNA|73.71（10%） - 79.32（90%）|50.82（10%） - 53.48（90%）| - | - |
|Enron Email Network|分类|TADW(d = 200)|78.43（10%） - 84.42（90%）|54.85（10%） - 59.08（90%）| - | - |
|Enron Email Network|分类|TADW(d = 128)|79.21（10%） - 84.34（90%）|55.38（10%） - 57.88（90%）| - | - |
|Enron Email Network|分类|NEEF(d = 200)|79.26（10%） - 84.25（90%）|56.36（10%） - 59.50（90%）| - | - |
|Enron Email Network|分类|NEEF(d = 128)|79.41（10%） - 84.50（90%）|56.45（10%） - 59.65（90%）| - | - |

8. 操作步骤回顾

初始化 ：输入图$G(V, E, F)$、窗口大小$w$和学习率$\alpha$，随机初始化顶点表示向量$\overrightarrow{u}$，从$R^{|V| \times d}$中采样得到。
随机游走生成 ：对于图中的每个顶点$v_l$，生成随机游走序列$W_{v_l}$。对于加权图，按照与顶点$v_l$相关联的边的权重比例进行采样。
训练更新 ：
1. 遍历随机游走序列$W_{v_l}$中的每个顶点$v_i$。
2. 对于$v_i$窗口范围内（$[i - w : i + w]$）的每个顶点$v_j$，计算损失函数$J(\overrightarrow{u}) = -\log Pr(v_j|v_i; F)$。
3. 根据损失函数的梯度更新顶点表示向量$\overrightarrow{u} = \overrightarrow{u} - \alpha * \frac{\partial J}{\partial \overrightarrow{u}}$。
优化方法 ：为避免目标函数中归一化因子的昂贵计算，采用负采样方法计算损失函数。同时，使用异步随机梯度算法（ASGD）对损失函数进行优化。

9. 未来展望

预测缺失边 ：NEEF模型在学习网络表示方面的优势为预测缺失边提供了可能。通过分析顶点之间的潜在关系和边特征，可以更准确地预测网络中可能存在但尚未发现的边，这在社交网络分析、生物网络研究等领域具有重要应用价值。
扩展到动态和异构网络 ：现实世界中的网络往往是动态变化的，并且包含多种类型的节点和边。将NEEF模型扩展到动态和异构网络中，能够更好地处理网络结构和特征随时间的变化，以及不同类型节点和边之间的复杂关系。
探索更多应用场景 ：除了分类和聚类任务，NEEF模型的细粒度表示还可以应用于更多的网络挖掘任务，如社区发现、链接预测、推荐系统等。通过进一步探索这些应用场景，可以充分发挥NEEF模型的潜力，为实际问题提供更有效的解决方案。

总之，NEEF模型为网络表示学习带来了新的思路和方法，在多个方面展现出了卓越的性能。随着研究的不断深入，相信NEEF模型将在更多领域得到广泛应用，并取得更好的效果。