ICLR 21 BGRL， NIPS21 CCA-SSG， KBS22 GBT丢弃 负样本的图对比学习

talk

丢弃负样本~，隐身。 是否是共享encoder，损失中是否采用单位矩阵 来防止 平凡解

1.BGRL

BYOL在图上的应用， 主要流程和 MOCOv2， simCLR2 一样。 采用动量编码器。 损失函数就是byol的损失，不采用infonce这类需要负样本的对比 。 结构上 online encoder 多了一个 predictior。 online encoder H1的预测Z1 ，来和 target encoder的输出H2 计算mse损失（归一化余弦相似度 也相当于是 两个矩阵相减的 F范数的变形， 余弦相似性大，越相似，mse越小）

BYOL和BGRL都是非对称的编码器，简单的mse居然work。 而后面两个方法都是 shared encoder，因此都采用 单位矩阵 再次进行推远（防止平凡解）

实验~

2. CCA-SSG

共享的 encoder

去 均值，方差

损失： 第一项：最小化 不变项==最大化两个视角间的相关性。 第二项：使得两个表征内积（协方差矩阵）对角元素=1，非对角元素=0， 第一项 也就相当于BYOL的损失，但是BYOL不对称encoder，batchnorm等是 BYOL单损失 有效性的原因。 但是 这个第二项 是很类似 Barlow twins的 损失。 这里注意 是矩阵的转置*矩阵，因此第二项 是 求出 特征的协方差矩阵 ， 使特征 维度 之间 彼此独立（不相关）。

3. GBT

增强的方式：丢弃边，特征mask，伯努利采样GRACE做法
共享的encoder，没有 projector来进行降维（和Barlow twins不同的，因为graph dim不高）

同样 0 均值方差标准化。 计算两个表征内积。 损失函数 第一项：不变项，使得Cij中对角元素=1， 使得 两个视图中 idx相同的节点 相同维度 对于试图增强的不变性（不同视图中 一样的节点相似） 第二项： 非对角元素 尽可能都逼近于0， 不同维度之间不相关
猛地一看。 和CCA-SSG很相似。 CCA-SSG是 两个表征进行mse后 CCA-SSG的第二项就去 做了这个事情，GBT是 两个视角特征间， CCS-SSG是 各自视图的表征之间特征冗余消除（相当于是 非对角 等于0）。
GBT的损失更好理解： 两个表征内积 后的矩阵 趋近于单位矩阵，一方面 对角=1，非对角=0