luochi9051的博客

不太相关，随便看看Barlow Twins: Self-Supervised Learning via Redundancy Reduction基本思想上下两个独立的网络。相同的输入，但是输入XAX_AXA​，XBX_BXB​用不同的增强方式。按道理讲，这两个输出应该相同，所以它们的embedding ZAZ_AZA​，ZBZ_BZB​应该一样。就求这两个embedding的自相关矩阵。损失函数定义为：LBT=∑i(1−Cii)2+λ∑i∑j≠iCij2L_{BT} = \sum_i(1-C_