MVGCL: Multi-View Graph Contrastive Learningfor Service Recommendation

JAVA哇哇哇哇哇哇哇哇

已于 2023-11-29 20:10:13 修改

阅读量1.1k

点赞数 16

文章标签：人工智能机器学习深度学习

于 2023-11-29 19:26:59 首次发布

本文链接：https://blog.youkuaiyun.com/m0_56321960/article/details/134523738

版权

一、MVGCL概述

该文献是关于2023年IEEE国际网络服务会议（ICWS）上的一篇论文，题为"MVGCL: 基于多视图图对比学习的服务推荐"。该论文提出了一种改进的图神经网络（GNN）方法，用于解决服务推荐中的两个问题：一是传统的GNN模型只在一阶邻居之间进行信息传递，忽略了高阶邻居的信息；二是由于交互数据的稀疏和噪声，导致嵌入向量在潜空间中分布不均匀，影响下游应用的性能。（对比学习（Contrastive Learning）在推荐系统中已经显示出对处理数据稀疏性的有效性。为此，图协同对比学习方法建立了一个基于图结构的辅助自监督任务。虽然在一定程度上缓解了数据稀疏性问题，但新生成的图可能会引入不可靠的节点或边，破坏原始的图结构。）

为了解决这些问题，论文提出了一种多视图图对比学习（MVGCL）方法。该方法通过构建局部和全局多视图图，并进行内部对比学习和多视图之间的交叉对比学习，增强了信息传递的能力，并减轻了稀疏和噪声的影响，从而获得了更均匀的用户和服务节点表示。论文在三个基准数据集上进行了大量实验证明，MVGCL方法在各种评估指标上明显优于现有的竞争基准模型。

该文献的方法框架分为多视图特征传播和层次与视图的结合两个关键组成部分。其中，多视图特征传播用于整合低阶和高阶交互信息，包括局部图消息传递、全局图构建和消息传递。层次与视图的结合通过将不同层次和视图的嵌入进行交叉对比学习，最大化同一节点的局部和全局视图之间的一致性。为了实现服务推荐的目标，论文采用多任务训练，通过集成有监督BPR损失和自监督对比学习的损失进行预测。

总而言之，该论文提出了一种创新的图对比学习方法，通过多视图图构建和对比学习，解决了服务推荐中的问题，并在实验证明了其优越性能。

二、主要贡献

提出了一种用于服务推荐的新颖多视图通道模型，解决了过度平滑问题，实现了高阶信息的充分融合。本地视图通道关注低阶用户/服务邻居，而新生成的全局视图通道则基于图扩散提供高阶信息。
设计了双重对比学习目标，减轻了数据稀疏和噪声的影响，分别在同一视图内和不同视图之间捕捉节点之间的相关性。一个目标是在本地视图或全局视图的内视图层次上，节点与其一阶同质用户/服务邻居之间的对比学习，另一个目标是在本地视图中的节点与全局视图中相应节点之间的对比学习。
在三个基准数据集上进行了广泛实验，证明了所提出方法在服务推荐任务上相对于其他先进方法具有优越性能。

三、MVGCL框架的构建

1、Local Graph Message Passing

首先，用户和服务被表示为随机特征向量e(0) u ∈ Rd and e(0) s ∈ Rd,。然后，使用观察到的本地图（Local Graph）和图神经网络（GNN）来建模用户和服务之间的交互关系。在特征传播过程中，采用了LightGCN的方法，丢弃了非线性激活和特征转换。通过迭代更新层之间的特征，可以获得多层的用户和服务嵌入。

在用户-服务观察到的本地图中，目标用户或服务与一阶同质邻居节点之间存在最大的相关性。为了捕捉这些节点之间的共同兴趣，采用了本地对比学习（CL）。通过计算用户和服务在不同层表示之间的相似度，并应用对比损失函数，可以获得本地用户和本地服务的对比学习损失。最后，将用户和服务的对比学习损失进行整合，得到了本地对比学习损失。

这一部分的目标是通过在本地图中学习用户和服务的表示，捕捉它们之间的交互关系和共同兴趣，并为后续的图对比学习提供基础。

2、Global Graph Construction and Message Passing

首先，根据观察到的交互矩阵 A，计算得到拉普拉斯矩阵 L。然后，基于广义拉普拉斯矩阵，生成扩散矩阵 G，其中每一层的权重由权重系数 θ_k 控制。采用个性化PageRank（PPR）作为衰减策略，计算权重系数 θ_k。

通过近似计算扩散矩阵 G，并结合衰减因子 α，得到数值扩散矩阵 G∗。在数值扩散矩阵中，较小的值表示相应位置上的用户和服务之间的交互可能性较低。

根据数值扩散矩阵 G∗，设计了两种全局交互扩散图，分别基于用户和基于服务。这些扩散图可以应用于观察到的用户-服务交互的本地图中，用于后续的图对比学习任务。

MVGCL-U (GU)基于用户

基于用户的方法，它根据观察到的用户-服务交互的本地图，选择与每个用户最相关的服务节点作为邻居。这是通过计算用户在本地图中的度，并选择与该度相对应的顶部服务节点来实现的。

MVGCL-S (GS)基于服务

基于服务的方法，它根据观察到的用户-服务交互的本地图，选择与每个服务最相关的用户节点作为邻居。这是通过计算服务在本地图中的度，并选择与该度相对应的顶部用户节点来实现的。

这两种方法都利用了本地图中直接的用户-服务交互信息，通过选择最相关的邻居节点来建立用户和服务之间的连接。这些邻居节点可以用于后续的图对比学习任务，以提升用户和服务节点的表示学习效果。

总的来说，该方法通过利用观察到的用户-服务交互信息，构建了扩散矩阵，并将其应用于全局交互扩散图中，以捕捉用户和服务之间的全局交互关系。这为后续的任务提供了基础。

引入参数k*

在MVGCL方法中，为了扩大用户和服务节点的全局邻域，引入了图扩散卷积和参数k∗。通过计算用户的扩展度Vu和服务的扩展度Vs，将Vu和Vs取代|Nu|、|Ns|用做全局扩散图Gu和Gs中用户和服务的度，构建了用户导向的全局扩散图GU和服务导向的全局扩散图GS。

然后，利用全局图神经网络（GNN）进行消息传递，将节点的嵌入向量在全局范围内进行更新。具体而言，对于每个用户和服务节点，通过聚合其邻居节点的嵌入向量来计算更新后的嵌入向量。最终，通过结合用户和服务的全局嵌入向量，得到了整个用户-服务全局图LG(G)。

这些操作能够促使用户和服务节点在全局范围内进行信息传播和交互，从而更好地捕捉它们之间的关联和特征。这对于后续的图对比学习任务和表示学习非常有益，可以提供更全面和准确的用户和服务表示。

3、Multiple Layers & Views Combination

首先通过多层传播获得局部和全局视图中的用户和服务节点的表示。然后，使用加权和函数将所有层的表示进行组合，得到局部视图和全局视图的读取表示。

局部视图中采用GNN读出的加权和函数来组合所有层的表示：

全局视图中采用GNN读出的加权和函数来组合所有层的表示：

为了减弱单一视图的噪声效应，引入了互连交互，通过计算不同视图下节点表示的相似度来增强表示的一致性。

接下来，将局部和全局视图的读取表示进行组合，得到最终的用户和服务表示。

最终表示通过内积操作来预测用户与服务之间的交互可能性，即计算用户和服务之间的相似度或匹配程度。

这些步骤使得MVGCL方法能够有效地捕捉用户和服务之间的关联，并通过多视图方式提高表示的准确性和一致性。这对于推断用户与服务之间的交互可能性具有重要意义。

4、Multi-task Training

在MVGCL方法中，使用了多任务训练策略，其中主要的损失函数是贝叶斯对比排名（BPR）损失，用于从交互中直接提取信息。通过随机采样形成三元组（u，s+，s−），其中s+是与用户u有交互的服务，而s−是与用户u没有交互的服务。最小化BPR损失函数可以提高交互预测的准确性。

除了BPR损失外，还引入了自监督的辅助损失，以进一步优化模型参数。辅助损失包括局部和全局内部一致性损失（LG(L)和LG(G)），以及互连交互损失（Linter）。这些损失项的权重由超参数λ1、λ2和λ3控制。

此外，还包括L2正则化项，用于控制模型的复杂度，并防止过拟合。通过联合优化主要损失函数和辅助损失函数，MVGCL方法能够综合考虑用户-服务交互的信息以及局部和全局视图之间的一致性，并通过互连交互增强不同视图之间的关联。

四、实验

1、Expermental Settings

Experimental Datasets：

三个数据集：ML-100K、ML-1M、Yelp。将评分（1-5）小于4的设置为0，其他评分设置为1

训练集:验证集:测试集 = 8 ：1 ：1

Competing Methods：
- MF-based CF methods：
  - BPRMF：使用矩阵分解模型学习潜在表示，并通过贝叶斯个性化排名进行优化。
  - NeuMF：通过深度神经网络（DNN）对用户-服务交互关系建模，模拟复杂的非线性交互。
  - ENMF：在整体训练数据上训练神经推荐模型，不进行负采样。
- GNN-based CF methods:
  - NGCF：将用户-服务交互整合到嵌入过程中，并利用图卷积网络（GCN）作为特征传播函数。
  - LightGCN：NGCF的简化版本，更加简洁，适用于服务推荐。
- GCL-based CF methods:
  - SGL：基于多个增强图进行对比学习，包括节点丢弃、边丢弃和随机游走。
  - GDCL：基于扩散矩阵进行对比学习，在所有节点中考虑相同的结构。
- 参数设置

通用设置包括使用Xavier初始化方法对所有嵌入进行初始化，批次大小为2048，嵌入维度为64，模型正则化参数λ4为1e-4，使用Adam优化算法，并设定学习率为0.001。温度超参数τ的取值范围选择了{0.03, 0.04, 0.05, 0.075, 0.1}，对SSL正则化参数λ1、λ2、λ3进行调优，选择了{1e-5, 1e-6, 1e-7, 1e-8}，以及对k∗进行调优，选择了{0.00, 0.02, 0.04, 0.06, 0.08, 0.10}。

2、Experiment Results and Analyses

随着实验数据集密度的增加，推荐度量指标整体上表现更好。

基于MF的竞争基准方法在召回率和NDCG上表现较差，因为它主要依赖于直接的用户-服务交互。具体而言，NeuMF通过直接使用非线性和多个神经网络来建模用户-服务交互，同时基于单一协同信号层表示特征，导致了过拟合的模型。相反，ENMF通过继承简化的BPRMF架构并进一步优化负样本策略，取得了更好的性能。尽管这些基准方法在下游采用了复杂的组合，但是编码浅层关系明显限制了对服务推荐的模型效果。

与基于MF的竞争基准方法相比，基于GNN的方法具有将高阶信息编码到特征表示中的优势。然而，在ML100K数据集上，基于MF的模型优于基于GNN的方法，因为在相对密集的数据集上，编码和整合用户-服务直接协同交互的信息已经足够。在所有基于GNN的方法中，LightGCN在大多数情况下表现最好，并且具有最快的模型训练效率。LightGCN之所以改进的原因是消除了NGCF模型中的特征转换和非线性激活模块，这对模型产生了负面影响。然而，这类竞争基准方法的性能在很大程度上依赖于实验数据集中用户-服务交互的密度。因此，在交互稀疏的场景中应用时，它们可能会产生不均匀的用户和服务表示。

通过在GNN中进行对比学习，观察到SGL和GDCL在三个数据集上一直优于其他有监督的竞争基准方法。这表明对比学习在前K个服务推荐中发挥了重要作用，并带来了明显的改进。然而，SGL通过随机节点/边缘丢弃生成视图，GDCL为用户-服务扩散矩阵中的每个节点设置固定度数，这极大地破坏了用户-服务二部图的结构。与基于GCL的竞争基准方法相比，MVGCL在局部和全局视图内进行了内部对比学习，并在双重视图之间进行了交互对比学习，这可以更有效地反映直接和间接的用户-服务交互关系。这有利于消息传递和特征传播，以获得更好的预测准确性。

MVGCL方法在多个数据集上在召回率和NDCG方面远远超过其他竞争基准方法，这证明了在前K个服务推荐任务中考虑多层次的对比学习的有效性。

3、Ablation Study

通过对MVGCL方法进行实验验证和消融研究，得出以下结论：

1. 使用全局图扩散矩阵替代局部观察到的邻接矩阵可以保持或提高竞争性的推荐性能。这表明用户-服务图扩散矩阵能够消除噪声并生成与观测数据分布一致的真实数据分布。

2. 考虑到交互对比学习或内部对比学习，可以获得比基线方法LightGCN更好的性能。特别是，内部对比学习对服务推荐的性能提升更为显著。这表明，在将对比学习应用于用户和服务的特征表示时，可以获得比仅依赖标签数据训练阶段更均匀的表示。

综上所述，MVGCL方法在推荐任务中通过考虑多层次的对比学习，在性能上取得了显著的改进，证明了其在前K个服务推荐中的有效性。

4、Performance Impact of Hyper-Parameters

通过对超参数进行实验分析，得出以下结论：

1. 温度参数τ的选择对MVGCL的性能影响显著。较大的τ值会导致性能下降，主要原因是较大的温度值难以合理地识别困难和容易的负样本。在实验中发现，将τ设置在[0.03, 0.05]范围内可以获得良好的推荐性能。

2. 图扩散卷积参数k∗的选择也对性能产生影响。当k∗增加时，召回率和NDCG指标会先增加后下降。这可以解释为当k∗设置得太小时，稀疏的用户-服务交互会影响性能，而当k∗设置得太大时，大量嘈杂的用户-服务交互可能会干扰模型学习。在实验中发现，将k∗设置在[0.02, 0.08]范围内可以获得最佳的服务推荐性能。

综上所述，通过合理选择温度参数τ和图扩散卷积参数k∗的取值范围，可以获得最佳的MVGCL方法的性能。

5、Visualizing the Embedding Distributions

通过对比BPRMF、LightGCN和MVGCL在嵌入向量表示上的分析，得出以下结论：

1. BPRMF方法在低密度数据集上容易形成孤立的聚类，而LightGCN在高密度数据集上无法获得均匀的表示向量。这表明非对比学习方法在平衡协作关系和表示均匀性方面存在困难，导致表示向量容易陷入局部最优解。

2. MVGCL通过对比学习获得了均匀的表示向量，并且在潜在表示空间中能够优化地识别社区结构。这使得MVGCL在服务推荐任务中表现出更好的性能。

综上所述，MVGCL通过对比学习的方式在表示向量上实现了均匀性，并在潜在表示空间中有效地识别了社区结构，从而提高了服务推荐的性能。

五、总结

本文提出了一种名为Multi-View Graph Contrastive Learning（MVGCL）的新型基于对比学习的服务推荐模型。该模型融合了多视图（局部视图和全局视图）和双重对比学习（内部对比学习和跨视图对比学习）。

首先，通过应用图扩散机制构建全局视图，基于用户-服务观察到的局部视图。然后，将来自多个层和视图的新生成嵌入向量与图消息传递相结合。

其次，设计了内部对比学习和跨视图对比学习，以促使同一节点的不同视图的嵌入向量趋于均匀，从而改善用户和服务节点的潜在特征表示。通过在三个基准数据集上进行实验，结果表明MVGCL模型相对于其他竞争方法具有更好的服务推荐性能。

未来的研究方向包括探索生成全局扩散图的新策略，并将该模型应用于更复杂的服务推荐任务，如序列推荐和兴趣点推荐。