37、用于图聚类的通勤时间卷积核

关注

原创 2025-09-02 16:24:28 40 阅读 AI 写同款· GEO 优化 ›

用于图聚类的通勤时间卷积核

1. 引言

近年来，研究人员致力于将核范式从模式向量扩展到图、树和字符串等关系结构。为实现特定目标，人们提出了多种图核。构建图核时，通常可利用两类信息：
- 图的结构信息，可通过多种方式体现，其中利用路径长度分布或不同循环长度的频率是较为有效的方法。
- 图中节点或边的标签及属性信息。

此外，被比较图的节点之间还存在对应关系。例如，Smola等人开发了路径长度核用于比较分子结构；Gartner等人使用核从大型数据库中挖掘图；Bunke和Riesen展示了如何使用核方法将基于图的模式分析问题转化为等效的统计模式分析任务。

这三种信息的获取成本和作用各不相同。可靠的节点对应关系定位困难且成本高，但一旦确定，节点属性可提供强大的区分信息。实际上，使用对应关系可将图的属性信息隐式向量化。而关系结构是图的固有特性，使其区别于向量或字符串形式的数据。

本文旨在探索仅利用结构信息构建核，并将其用于图聚类的方法。我们需要一种经济计算且对图结构的微小扰动（如噪声）具有鲁棒性的结构特征，同时该特征要足够精细，以区分结构上的细微变化。路径长度是图核文献中广泛研究的候选特征，如路径长度核和扩散映射。而通勤时间提供了一种有趣的替代方案，它能以鲁棒的方式捕捉这两种替代方案的特征。通勤时间是指随机游走从图的一个节点到另一个节点再返回的预期步数，该值是所有可能路径的平均值，因此对边删除具有较强的鲁棒性，还可看作是对所有可能扩散长度的扩散映射的平均。此外，它是一种度量，可从拉普拉斯谱中简单计算得出，计算时间与图中节点数量的立方成正比。

为避免显式的节点对应关系，我们使用卷积核。具体做法是，利用拉普拉斯谱计算图中所有节点对之间的通勤时间，得到通勤时间矩阵，然后使用卷积核比较这些矩阵的元素，避免了通常需要估计图节点之间置换矩阵的显式元素对应。卷积核会对通勤时间差异较大的情况进行加权，这与图之间的豪斯多夫距离计算有相似之处。

2. 图上的通勤时间

首先简要回顾拉普拉斯谱与通勤时间的关系。考虑加权图 $G = (V, E, Ω)$，其中 $V$ 是节点集，$E ⊆ V × V$ 是边集，$Ω : E → [0, 1]$ 是与边相关的权重集。图的邻接矩阵元素定义为：
[
A_{uv} =
\begin{cases}
1, & \text{if } (u, v) \in E \
0, & \text{otherwise}
\end{cases}
]
设 $T = diag(d_u; u \in V)$ 是对角加权度矩阵，其元素为 $\sum_{v = 1}^{n} A(u, v)$，其中 $n = |V|$。拉普拉斯矩阵为 $L = T - A$，归一化加权拉普拉斯矩阵定义为 $L = T^{-1/2}(T - A)T^{-1/2}$，其元素为：
[
L_{uv} =
\begin{cases}
1, & \text{if } u = v \
-\frac{w_{u,v}}{\sqrt{d_ud_v}}, & \text{if } u \neq v \text{ and } (u, v) \in E \
0, & \text{otherwise}
\end{cases}
]
归一化拉普拉斯矩阵的谱分解为 $L = ΦΛΦ^T$，其中 $Λ = diag(λ_1, λ_2, ....λ_n)$ 是对角矩阵，其元素为满足 $0 = λ_1 ≤ λ_2… ≤ λ_{|V|}$ 排序的特征值，$Φ = (φ_1 | φ_2 | … | φ_{|V|})$ 是矩阵，其列是相应排序的特征向量。

格林函数 $Γ$ 是归一化拉普拉斯矩阵的伪逆，通过丢弃与零特征值相关的特征向量计算得到：
[
Γ(u, v) = \sum_{i = 2}^{|V|} \frac{1}{λ_i} φ_i(u)φ_i(v)
]
随机游走从节点 $u$ 到达节点 $v$ 的预期步数定义为击中时间 $O(u, v)$，通勤时间 $CT(u, v)$ 是随机游走从节点 $u$ 到节点 $v$ 再返回的预期时间，即 $CT(u, v) = O(u, v) + O(v, u)$。已有研究表明，可使用格林函数 $Γ$ 计算通勤时间：
[
CT(u, v) = vol(T^{-1/2}(Γ(u, u) + Γ(v, v) - 2Γ(u, v))T^{-1/2})
]
其中 $vol$ 是图的体积。通过将格林函数的谱表达式代入通勤时间的定义，可以证明通勤时间可表示为：
[
CT(u, v) = vol \sum_{i = 2}^{|V|} \frac{1}{λ_i} \left(\frac{φ_1(u)}{\sqrt{d_u}} - \frac{φ_i(v)}{\sqrt{d_v}}\right)^2
]
因此，计算通勤时间矩阵所需的唯一操作是提取归一化拉普拉斯矩阵 $L$ 的特征向量和特征值。通勤时间是图上的一种度量，下一节将介绍如何使用通勤时间矩阵比较图上该度量的分布。

3. 图上的卷积核

本文的目标是使用图核比较图上通勤时间的分布，从而衡量图的相似性。一种方法是在两个被考虑的图之间构建卷积图核。

考虑两个图 $G_1 = (V_1, E_1)$ 和 $G_2 = (V_2, E_2)$，它们的通勤时间矩阵分别为 $CT_1$ 和 $CT_2$，代表每个图内通勤时间的分布。为避免定位两个图节点之间的显式对应关系，我们使用卷积核比较通勤时间矩阵。

卷积核由Haussler引入。考虑两个模式向量 $x = (x_1, ....x_D)$ 和 $y = (y_1, ....y_D)$，对于每个对应元素对 $(x_d, y_d)$（$1 ≤ d ≤ D$），有一个核 $K_d$ 用于测量它们的相似性，即 $K_d(x_d, y_d)$。两个模式向量 $x$ 和 $y$ 之间的相似性 $K(x, y)$ 由以下广义卷积给出：
[
K(x, y) = \int_x \int_y \prod_{d = 1}^{D} K_d(x_dy_d) dy dx
]
我们可以使用任何正定核，这里使用高斯核逐元素比较图的通勤时间矩阵。因此，卷积核为：
[
K(G_1, G_2) = \frac{1}{|V_1|} \frac{1}{|V_2|} \sum_{(a,b) \in V_1×V_1} \sum_{(α,β) \in V_2×V_2} \exp\left(-\frac{|CT_1(a,b) - CT_2(α,β)|^2}{2σ^2}\right)
]
为了可视化，我们将核主成分分析（Kernel PCA）应用于卷积核。核主成分分析是主成分分析在核特征空间的扩展。核 $k$ 均值算法常用于聚类，我们将使用该算法对核矩阵进行聚类。核 $k$ 均值是标准 $k$ 均值算法的推广，它通过非线性变换 $φ$ 将输入空间中的数据点映射到高维特征空间，然后在该特征空间中应用 $k$ 均值算法。使用核 $k$ 均值方法对测试对象集进行聚类时，需要将数据集划分为 $M$ 个不相交的簇。

4. 实验

4.1 实验设置

在实验中，使用了两个数据集：
- COIL数据库，包含多个对象的72个视图。
- 一个包含四个玩具的72个视图的数据库。

这些数据集包含相机围绕对象旋转时拍摄的多个对象图像。从COIL数据中提取角点特征，从玩具数据中提取SIFT特征，并构建代表特征点排列的Delaunay图。

4.2 实验步骤

实验步骤如下：
1. 根据公式 (3) 计算图的通勤时间距离。
2. 根据公式 (5) 构建核矩阵。
3. 使用核主成分分析将数据嵌入到低维空间。
4. 使用核 $k$ 均值算法进行聚类。

4.3 实验结果

使用描述的算法将核主成分分析应用于卷积核的输出，得到图数据的嵌入。不同颜色的点代表不同的对象。同时，将本文方法与图上的最短路径核和修改后的豪斯多夫距离进行比较。路径核通过计算随机游走中遇到的边的核的乘积来构建，在计算路径核时仅考虑边的权重，以保持与基于通勤时间矩阵的核的可比性。

从实验结果的可视化检查来看，卷积核似乎比其他两种方法给出了更好的结果，不同对象被更清晰地分离成簇。为了更定量地评估，使用核 $k$ 均值进行聚类，并考虑COIL数据库中的前5个对象，使用兰德指数验证聚类结果。兰德指数衡量给定聚类的一致性，值越高表示聚类效果越好。对于所有 $o_i \neq o_j$ 的对象对 $(o_i, o_j)$ 计算兰德指数，其中 $N_1$ 表示属于同一类且属于同一簇的对象对数量，$N_2$ 表示既不属于同一类也不属于同一簇的对象对数量，$N_3$ 表示属于同一类但不属于同一簇的对象对数量，$N_4$ 表示属于不同类但属于同一簇的对象对数量。兰德指数定义为：
[
\text{Rand index} = \frac{N_1 + N_2}{N_1 + N_2 + N_3 + N_4}
]

数据集	σ = 0.1	σ = 1	σ = 10
COIL数据（通勤时间核）	0.7954	0.7286	0.6587
COIL数据（路径长度核）	0.7202	0.6714	0.6714
玩具数据（通勤时间核）	0.7670	0.6330	0.6330
玩具数据（路径长度核）	0.6770	0.6670	0.6670

从表中可以看出，当 $σ$ 接近0.1时，通勤时间核的性能与最短路径核相当甚至更好，在COIL和玩具数据集上都给出了更高的值。

4.4 实验流程

graph LR
    A[提取特征] --> B[构建Delaunay图]
    B --> C[计算通勤时间距离]
    C --> D[构建核矩阵]
    D --> E[核主成分分析]
    E --> F[核k均值聚类]
    F --> G[计算兰德指数]

综上所述，本文展示了如何使用卷积核，通过图中顶点对之间的通勤时间分布来计算图之间的相似度。在图聚类和分类实验中，验证了这种相似度度量的有效性。与路径长度距离相比，顶点之间的通勤时间对边权重结构的误差更具鲁棒性，可作为一种更可靠的顶点亲和性度量。

4.5 不同方法对比分析

为了更直观地比较不同方法的性能，下面将详细分析卷积核、最短路径核和修改后的豪斯多夫距离这三种方法在实验中的表现。

卷积核 ：通过计算图中所有节点对的通勤时间，利用高斯卷积核比较通勤时间矩阵，避免了显式的节点对应关系。从实验结果的可视化来看，不同对象能更清晰地分离成簇，且在兰德指数的评估中，当 $σ$ 接近 0.1 时，在 COIL 和玩具数据集上都表现出较好的性能。
最短路径核 ：通过计算随机游走中遇到的边的核的乘积来构建，仅考虑边的权重。在实验中，其聚类效果相对卷积核稍逊一筹，兰德指数的值整体低于卷积核在合适 $σ$ 值下的结果。
修改后的豪斯多夫距离 ：计算通勤时间矩阵之间的距离，然后使用多维尺度分析将图嵌入到低维模式空间。从可视化结果来看，其聚类效果不如卷积核明显。

以下是三种方法的对比表格：
| 方法 | 优点 | 缺点 | 实验效果（兰德指数） |
| ---- | ---- | ---- | ---- |
| 卷积核 | 避免显式节点对应，对边权重误差鲁棒，聚类效果好 | 计算相对复杂 | 当 $σ$ 接近 0.1 时较好 |
| 最短路径核 | 计算相对简单 | 聚类效果不如卷积核 | 整体低于卷积核 |
| 修改后的豪斯多夫距离 | 可用于图的嵌入 | 聚类效果不明显 | 不如卷积核 |

4.6 不同 $σ$ 值的影响

在实验中，$σ$ 值对卷积核的性能有显著影响。通过不同 $σ$ 值下的兰德指数结果可以看出，当 $σ$ 接近 0.1 时，通勤时间核在 COIL 和玩具数据集上都能取得较好的聚类效果。随着 $σ$ 值的增大，兰德指数逐渐降低，说明聚类效果变差。这是因为 $σ$ 值控制着高斯核的宽度，$σ$ 较小时，高斯核更尖锐，对通勤时间的差异更敏感，能够更好地区分不同的图；而 $σ$ 较大时，高斯核更平滑，对差异的敏感度降低，导致聚类效果变差。

以下是不同 $σ$ 值下通勤时间核和路径长度核在两个数据集上的兰德指数变化趋势图：

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px

    A(σ = 0.1):::startend --> B(COIL数据 - 通勤时间核: 0.7954):::process
    A --> C(COIL数据 - 路径长度核: 0.7202):::process
    A --> D(玩具数据 - 通勤时间核: 0.7670):::process
    A --> E(玩具数据 - 路径长度核: 0.6770):::process

    F(σ = 1):::startend --> G(COIL数据 - 通勤时间核: 0.7286):::process
    F --> H(COIL数据 - 路径长度核: 0.6714):::process
    F --> I(玩具数据 - 通勤时间核: 0.6330):::process
    F --> J(玩具数据 - 路径长度核: 0.6670):::process

    K(σ = 10):::startend --> L(COIL数据 - 通勤时间核: 0.6587):::process
    K --> M(COIL数据 - 路径长度核: 0.6714):::process
    K --> N(玩具数据 - 通勤时间核: 0.6330):::process
    K --> O(玩具数据 - 路径长度核: 0.6670):::process

5. 总结与展望

5.1 总结

本文提出了一种基于通勤时间卷积核的图聚类方法。通过计算图中节点对之间的通勤时间，利用高斯卷积核比较通勤时间矩阵，避免了显式的节点对应关系。在实验中，使用 COIL 数据库和玩具数据库进行验证，结果表明卷积核在图聚类任务中表现出较好的性能，能够更清晰地将不同对象分离成簇。与最短路径核和修改后的豪斯多夫距离相比，通勤时间核在合适的 $σ$ 值下具有更高的兰德指数，说明其聚类效果更优。

5.2 展望

虽然本文的方法在实验中取得了较好的效果，但仍有一些方面可以进一步改进和拓展：
- 计算效率 ：卷积核的计算相对复杂，尤其是在处理大规模图数据时，计算时间可能会较长。未来可以研究更高效的计算方法，提高算法的计算效率。
- $σ$ 值的选择 ：$σ$ 值对卷积核的性能有显著影响，目前实验中只是简单地选取了几个固定的值进行测试。可以研究更智能的 $σ$ 值选择方法，根据不同的数据集自动选择最优的 $σ$ 值。
- 数据集的多样性 ：实验仅使用了 COIL 数据库和玩具数据库，未来可以在更多不同类型的数据集上进行测试，验证方法的通用性和鲁棒性。
- 结合其他特征 ：可以考虑将通勤时间与图的其他特征（如节点属性、边标签等）相结合，进一步提高图聚类的性能。

通过以上的改进和拓展，基于通勤时间卷积核的图聚类方法有望在更多领域得到应用，为图数据的分析和处理提供更有效的工具。