[论文分享] GDCL：图对比学习+聚类，解决伪负样本问题

Graph Debiased Contrastive Learning with Joint Representation Clustering 论文解析

 往期相关推送（持续更新中！）：

[ICASSP 2024] CDNMF: 一个可信且高效的社区检测（社区发现，图聚类，Community Detection）方法-优快云博客

[论文分享] DGI 图对比学习：局部-全局对比，最大化互信息-优快云博客

[论文分享] GraphCL：图对比学习的增强方式，如何构造正样本？-优快云博客

[论文分享] 对比学习的内在原理-优快云博客

Motivation

· 图对比学习是无监督图表示学习中的一种突出技术。在图节点聚类（community detection）任务中，负样本的构造一般通过随机负抽样，没有考虑节点（隐含的）label信息。这样会在随机抽样中引入假负样本，降低模型的性能。

​

Contributions

· 该论文提出的对比学习框架统一了图表示学习和节点聚类，同时优化图表示以及聚类结果。

· 通过聚类结果生成伪标签，在此基础上进行负采样，一定程度上削弱抽样偏差现象，在节点分类、节点聚类以及图分类任务都取得了先进的性能。

Proposed Method

​

(1) 图增强：节点特征空间增强即masking node feature randomly

正样本：节点增强后，经过GCN的向量表示

负样本：在训练过程中同时进行聚类，根据聚类的结果生成伪标签，并根据伪标签的结果构建去偏的负样本，然后在负样本集中随机抽取M个负样本。

​

（2）聚类过程：

损失函数（相对熵损失，参考DEC算法）

​

Q分布（聚类分布）

​

q_{kj}代表第k个节点的嵌入表示与聚类中心\mu_{j}之间的相似度，用t分布来近似。

梯度更新可学习的聚类中心：

​

P分布（serves as ground truth soft label）

​

（3）对比损失：​

遇上一篇介绍的不同，这里使用的是NT-Xent对比损失。 

（4）联合优化

​

Algorithm:

​

我们知道P分布是由Q分布导出的，用作真实分布。这里为了维持P分布的稳定性，设计每T个循环才迭代更新一次。

Experiment

聚类对比实验

​

消融实验

​

超参数的影响

References

[0] Zhao H, Yang X, Wang Z, et al. Graph Debiased Contrastive Learning with Joint Representation Clustering[C]//IJCAI. 2021: 3434-3440.

[1] Li Y, Chen J, Chen C, et al. Contrastive Deep Nonnegative Matrix Factorization for Community Detection[J]. arXiv preprint arXiv:2311.02357, 2023.

[2] Li Y, Hu Y, Fu L, et al. Community-Aware Efficient Graph Contrastive Learning via Personalized Self-Training[J]. arXiv preprint arXiv:2311.11073, 2023.