Mi_Hao_YOUNG的博客

Core-tuning 论文阅读介绍论文地址Unleashing the Power of Contrastive Self-Supervised Visual Models via Contrast-Regularized Fine-TuningCore-tuning是一种contrast-regularized tuning的方法，应用于自监督网络finetune基本思想使用优化supervised contrastive loss，有利于模型在finetune中得到更好的优化和学习到更好的类

Barlow Twins论文阅读介绍论文地址Barlow Twins一种自监督学习的方法创新对比于之前的BYOL，Simsiam非对称自监督学习网络，Barlow Twins采用对称结构并且没有momentum，predictor，stop-grad结构设计了一种新的loss计算方法来避免坍塌计算两个网络输出vector的相似度，得到一个cross-correlation matrix（互相关矩阵），使得该矩阵逼近一个单位矩阵互相关矩阵的主对角线要接近单位矩阵，即同一样本在不同的

LARS优化器介绍​ LARS是基于SGD提出，适用于large batch size的优化器。​ 通过增大batch size来提高模型的训练速度，如果保持训练epoch不变，则训练的step会减少。弥补训练迭代次数不足的直接方法可以增大LR，当batch size增大k倍时，LR也增大k倍。但是较大的LR会导致网络泛化，特别是在训练的初始阶段。优点网络的每一层都有一个local LR，使得模型训练更稳定通过权重范数控制更新的幅度，可以更好的控制训练速度启发论文提出“learning

BYOL 论文阅读介绍Bootstrap Your Own Latent（BYOL），是一种自监督学习方法，主要结构由两层神经网络构成Online和Target，两层网络相互学习。为什么需要自监督学习随着模型不断复杂化，训练过程困难，需要大量的带标签的数据创新点不同于SimCLR，MOCO等对比学习方法，BYOL没有使用负样本方法与实现结构两个基本框架相同的network，online和target，但参数不同fff​​为一个encoder结构，论文中使用

SimSiam论文阅读介绍SimSiam是一种自监督学习方法的结构，是基于Siamese networks结构提出的创新点没有使用负样本没有依赖大的batch size没有使用momentum encoders（不同于BYOL）方法与实现结构两层网络结构基本相同，并且共享参数对比于BYOL，将backone和projection MLP合并成一个encoderbackone为ResNet-50MLP有3层，BN应用于每个FC，输出没有使用ReLU，隐藏层的FC为2048