山城火锅有点甜-优快云博客

原创自监督学习-对比学习-MoCo Momentum Contrast 阅读笔记

MOCO用于无监督表征学习。我们从另外一个角度来理解对比学习，即从一个字典查询的角度来理解对比学习。moco中建立一个动态的字典，这个字典由两个部分组成一个队列queue和一个移动平均的编码器moving-averagedencoder。这两个东西造就了一个更大的和更一致consistent的字典，对无监督的对比学习有很大的帮助。(队列中的样本不需要做梯度反传，因此可以在队列中存储很多负样本，从而使这个字典可以变得很大。......

2022-07-21 05:24:37 3051 1

原创 Mlp-Mixer 阅读笔记

本文会做对文章的解读，以及和卷积的一些对比论文链接： https://arxiv.org/pdf/2105.05537.pdf 代码：GitHub - google-research/vision_transformer摘要Mlp-mixer是谷歌最近提出的基于纯mlp结构的cv框架。它使用多层感知机（MLP）来代替传统CNN中的卷积操作（Conv）和Transformer中的自注意力机制（Self-Attention）。MLP-Mixer整体设计简单，在ImageNet上的表现接近于近年最..

2022-04-14 23:45:07 992

原创 Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 阅读理解

原文地址：https://arxiv.org/pdf/2103.14030.pdf收录：CVPR 2021 Best paper代码: https://github.com/microsoft/Swin-Transformer摘要目前Transformer从文本领域应用到图像领域主要有两大挑战：视觉实体变化大，在不同场景下视觉Transformer性能未必很好 large variations in the scale of visual entities。但In existing

2022-04-05 22:00:14 2701

原创 Swin-Unet: Unet-like Pure Transformer forMedical Image Segmentation 医疗图像分割阅读笔记

原文地址：https://arxiv.org/pdf/2105.05537.pdf收录：CVPR 2021代码:https://github.com/Beckschen/TransUNet首篇将transformers用于医疗分割的文章设计的Idea：UNet +transformers的结合体，使用的具体模块:ViT+ResNet50+skip connection对关键的公式，和结构图进行了个人的一些注释，供大家参考。目录摘要1 Introduction2 ...

2022-03-22 00:30:32 7796 2

原创 TransUNet：Transformers Make Strong Encoders for Medical Image Segmentation用于医疗图像分割的transformers编码器详解

原文地址：https://arxiv.org/pdf/2102.04306.pdf收录：CVPR 2021代码:https://github.com/Beckschen/TransUNet首篇将transformers用于医疗分割的文章设计的Idea：UNet +transformers的结合体，使用的具体模块:ViT+ResNet50+skip connection对关键的公式，和结构图进行了个人的一些注释，供大家参考。摘要在医学图像中， U-Net, 已经成为了 de-f..

2022-03-20 01:56:18 15078 25

原创 DenseASPP for Semantic Segmentation in Street Scenes（DenseASPP 用于街景语义分割）的阅读笔记

DenseNet can be viewed as a special case of DenseASPP by setting dilation rate as 1. 因此，DenseASPP 拥有DenseNet的优点：alleviating gradient-vanishing problem 和substantially fewer parameters摘要objects in autonomous driving exhibit very large scale changes, whi.

2022-03-15 05:32:57 5755 4

weixin_43656644的博客

原创自监督学习-对比学习-MoCo Momentum Contrast 阅读笔记

原创 Mlp-Mixer 阅读笔记

原创 Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 阅读理解

原创 Swin-Unet: Unet-like Pure Transformer forMedical Image Segmentation 医疗图像分割阅读笔记

原创 TransUNet：Transformers Make Strong Encoders for Medical Image Segmentation用于医疗图像分割的transformers编码器详解

原创 DenseASPP for Semantic Segmentation in Street Scenes（DenseASPP 用于街景语义分割）的阅读笔记

空空如也

空空如也

原创 自监督学习-对比学习-MoCo Momentum Contrast 阅读笔记

原创 Mlp-Mixer 阅读笔记

原创 Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 阅读理解

原创 Swin-Unet: Unet-like Pure Transformer forMedical Image Segmentation 医疗图像分割阅读笔记

原创 TransUNet：Transformers Make Strong Encoders for Medical Image Segmentation用于医疗图像分割的transformers编码器详解

原创 DenseASPP for Semantic Segmentation in Street Scenes（DenseASPP 用于街景语义分割）的阅读笔记

空空如也

空空如也

原创自监督学习-对比学习-MoCo Momentum Contrast 阅读笔记