MiHao_YOUNG-优快云博客

原创 Core-tuning 论文阅读

Core-tuning 论文阅读介绍论文地址Unleashing the Power of Contrastive Self-Supervised Visual Models via Contrast-Regularized Fine-TuningCore-tuning是一种contrast-regularized tuning的方法，应用于自监督网络finetune基本思想使用优化supervised contrastive loss，有利于模型在finetune中得到更好的优化和学习到更好的类

2021-10-03 16:11:48 420 1

原创 Pytorch学习之VisionTransformer图片位置编码实现

Pytorch学习之图片位置编码前提在VisionTransformer模型中，使用一个二维的卷积核，将图片展开成一个patch序列patch_embed = nn.Conv2d(in_channels=in_chans, out_channels=embed_dim, kernel_size=patch_size, stride=patch_size)通过训练一个位置编码参数来学习记录图片的位置信息num_patches为图片展开的patch数目，加一是包含了cls_token，详细请阅读Vi

2021-09-05 16:30:54 4176 2

原创 Barlow Twins：Self-Supervised Learning via Redundancy Reduction论文阅读

Barlow Twins论文阅读介绍论文地址Barlow Twins一种自监督学习的方法创新对比于之前的BYOL，Simsiam非对称自监督学习网络，Barlow Twins采用对称结构并且没有momentum，predictor，stop-grad结构设计了一种新的loss计算方法来避免坍塌计算两个网络输出vector的相似度，得到一个cross-correlation matrix（互相关矩阵），使得该矩阵逼近一个单位矩阵互相关矩阵的主对角线要接近单位矩阵，即同一样本在不同的

2021-09-04 14:32:36 652

原创 Pytorch学习系列之矩阵运算

Pytorch矩阵运算此文章随着博主的学习而持续更新主要是总结在阅读代码时遇到的tensor计算问题对角矩阵获取矩阵对角元素x = torch.randn(3, 3)y = torch.diagonal(x)print(y)"""tensor([[ 0.7220, -1.8137, 0.5217], [ 0.5010, -0.0773, 0.4702], [ 0.3320, 0.0329, 1.1394]]) tensor([ 0

2021-09-03 19:35:46 648

原创 SGDR学习率调整策略

SGDR学习率调整策略介绍论文SGDR: STOCHASTIC GRADIENT DESCENT WITHWARM RESTARTSSGDR，以一种周期性调整学习率的方法，周期性地增大学习率原因梯度收敛的值可能是空间中的鞍点或者是相对较大的极小值点。鞍点严重影响模型的学习率，较大的极小值点导致模型性能较差。空间半径较大的极小值点，模型的泛化能力较强因此，适度增大学习率，可以使模型更快（学习率较大）地逃离鞍点，从而加速模型收敛。同时，假如收敛的极值点的空间半径较小，更大的学习率

2021-09-03 19:13:18 2243

原创 LARS：LARGE BATCH TRAINING OF CONVOLUTIONAL NETWORKS论文阅读

LARS优化器介绍 LARS是基于SGD提出，适用于large batch size的优化器。通过增大batch size来提高模型的训练速度，如果保持训练epoch不变，则训练的step会减少。弥补训练迭代次数不足的直接方法可以增大LR，当batch size增大k倍时，LR也增大k倍。但是较大的LR会导致网络泛化，特别是在训练的初始阶段。优点网络的每一层都有一个local LR，使得模型训练更稳定通过权重范数控制更新的幅度，可以更好的控制训练速度启发论文提出“learning

2021-08-28 20:09:14 1443

原创 DINO Emerging Properties in Self-Supervised Vision Transformers 论文阅读

Emerging Properties in Self-Supervised Vision Transformers阅读笔记介绍论文作者提出了一种新的自监督学习方法，self-distillation with no labels（DINO）。并将其应用在了CNN和Vision Transformer(ViT)结构上，均取得了不错的效果，且ViT的效果还要优于CNN。特点self-supervised ViT的feature包含了图片的语义分割的明确信息，如场景布局（scene layout），对

2021-08-22 18:23:23 2269

原创 BYOL Bootstrap Your Own Latent 论文阅读

BYOL 论文阅读介绍Bootstrap Your Own Latent（BYOL），是一种自监督学习方法，主要结构由两层神经网络构成Online和Target，两层网络相互学习。为什么需要自监督学习随着模型不断复杂化，训练过程困难，需要大量的带标签的数据创新点不同于SimCLR，MOCO等对比学习方法，BYOL没有使用负样本方法与实现结构两个基本框架相同的network，online和target，但参数不同fff为一个encoder结构，论文中使用

2021-08-10 22:16:19 533

原创 Exploring Simple Siamese Representation Learning 论文阅读

SimSiam论文阅读介绍SimSiam是一种自监督学习方法的结构，是基于Siamese networks结构提出的创新点没有使用负样本没有依赖大的batch size没有使用momentum encoders（不同于BYOL）方法与实现结构两层网络结构基本相同，并且共享参数对比于BYOL，将backone和projection MLP合并成一个encoderbackone为ResNet-50MLP有3层，BN应用于每个FC，输出没有使用ReLU，隐藏层的FC为2048

2021-08-10 21:42:51 453

原创 Attention简单学习

博主刚刚入门深度学习领域，然后最先接触的是Transformer的相关学习然后对其框架中self-attention中的Attention机制进行了简单学习文章也是学习借鉴很多大佬的文章笔记，仅供大家参考，如果有疏忽遗漏欢迎大家在评论中指出是什么Attention引入Attention机制是为了解决传统encoder-decoder模型存在的信息丢失问题encoder将输入的信息(句子)压缩为一个定长的向量，然后decoder将其解码转换为对应的信息(句子)，然而，在encoder的压缩过程中，对

2021-05-14 16:34:58 188

Mi_Hao_YOUNG的博客