MoCo v1 论文笔记

论文笔记与实战:对比学习方法MOCO 论文笔记与实战:MOCO对比学习方法 阅读详情

Momentum Contrast for Unsupervised Visual Representation Learning 论文笔记

论文地址:https://arxiv.org/pdf/1911.05722v3.pdf
源码地址:https://github.com/facebookresearch/moco

Introduction

利用动量对比的无监督视觉表示学习

从对比性学习可以作为字典查找的角度来看,MoCo构建了一个带有一个队列和一个移动平均编码器的动态字典
这可以建立一个大型的并且一致的字典,可以促进对比无监督学习

MoCo在ImageNet分类任务的通用线性评估协议下提供了有竞争的结果

无监督学习的一个主要目的是预训练表示(即,特征),可以转移到下游任务通过微调
MoCo可以很好的向下游任务转移,在许多视觉任务中,无监督和有监督表征学习之间的差距在很大程度上被缩小

无监督学习在NLP领域很成功,诞生了GPT和BERT,但是在视觉领域,还是有监督占据主导地位

语言任务具有离散的信号空间(单词、子词单位等)用于构建标记化字典,它可以基于无监督学习
相比之下,计算机视觉的原始信号是在一个连续的高维空间中,而不是针对人类通信的结构

很多无监督学习可以被认为是构建动态字典
字典中的“键”(令牌)从数据(例如,图像或补丁)中采样,并由编码器网络表示。
无监督学习训练编码器来执行字典查找:一个编码的“查询”应该与它的匹配键相似,而与其他键不同
这种学习被表述为最小化对比损失

从这个角度来看,假设建立这样的字典是可取的:

  1. 大
  2. 在训练过程中的发展是一致的

直观地说,一个更大的字典可以更好地对底层的连续的、高维的视觉空间进行采样,而字典中的键应该由相同或相似的编码器表示,以便它们与查询的比较是一致的。

然而,使用对比损失的现有方法可以限制在这两个方面中的一个

MoCo将字典维护为数据样本的队列:
当前小批处理的编码表示入队,最老的表示出队。队列将字典大小与小批量大小解耦,允许它很大

此外,由于字典键来自于前面的几个小批,因此提出了一个缓慢发展的键编码器,作为查询编码器的基于动量的移动平均值来实现,以保持一致性

MoCo使用很多借口任务来训练
MoCo所使用的借口任务:如果查询是同一图像的编码视图(例如,不同的裁剪),则查询与键匹配

无监督学习,其核心是两个内容:

  1. 借口任务
  2. 损失函数

借口任务的种类:

  1. 恢复某些被破坏的输入
  2. 去噪自动编码器
  3. 上下文自动编码器
  4. 跨通道自动编码器

各种借口任务都可以基于某种形式的对比损失函数
对比损失度量了表示空间中样本对的相似性


Method

Contrastive Learning as Dictionary Look-up

对比学习任务,可以被认为是使用一个字典查找任务来训练一个编码器

考虑一个编码的查询q和一组编码的样本{k0,k1,k2,…},它们是字典的键

假设q匹配的是k+
对比损失是当q与它的正键k+相似,而与所有其他键不同(被认为是q的负键)时,其值较低的函数
用点积度量相似度
对比损失函数其中的一个,InfoNCE:

L q = − log ⁡ exp ⁡ ( q ⋅ k + / τ ) ∑ i = 0 K exp ⁡ ( q ⋅ k i / τ ) \mathcal{L}_q=-\log \frac{\exp \left(q \cdot k_{+} / \tau\right)}{\sum_{i=0}^K \exp \left(q \cdot k_i / \tau\right)} Lq​=−log∑i=0K​exp(q⋅ki​/τ)exp(q⋅k+​/τ)​

对比损失也可以使用其他的形式的,如margin-based losses,或者NCE losses的其他变种

这里的q是经过编码器提取的特征:
q = f q ( x q ) q=f_{\mathrm{q}}\left(x^q\right) q=fq​(xq)

x是样本,f是编码器
x可以是图像,补丁,或者一组补丁构成的上下文

f q f_{\mathrm{q}} fq​ 和 f k f_{\mathrm{k}} fk​ 这两个网络可以是相同的,部分共享的,或者是完全不同的

Momentum Contrast请添加图片描述

从上述角度来看,对比学习是一种在如图像这种高维连续输入上构建离散字典的一种方法
字典是动态的,因为键是随机采样的,并且键编码器在训练过程中进化

我们的假设是,好的特征可以通过一个包含丰富的负样本集的大型字典来学习,而字典键的编码器尽管还在进化,但仍尽可能地保持一致

Dictionary as a queue

我们方法的核心是将字典作为数据样本队列
这允许我们重用前面小批的编码过的键

队列的引入可以将字典大小与batch大小解耦

我们的字典大小可以比一个batch大小大得多,并且可以灵活地、独立地设置为一个超参数

字典中的样本逐渐被替换。当前的小批将被排队到字典中,队列中最老的小批将被删除

该字典总是代表所有数据的一个采样子集,而维护该字典的额外计算是可管理的

此外,删除最古老的batch的数据可能是有益的,因为它的编码的key是最过时的,因此与最新的key最不一致

Momentum update

使用队列可以使字典变大,但它也使通过反向传播更新键编码器变得困难(这个梯度应该传播到队列中的所有样本)

一个简单的做法是直接复制查询编码器给key编码器,忽略梯度的信息
但是这种做法的效果不好
我们假设,这种失败是由快速变化的编码器,减少了关键表示的一致性

动量更新方法:

θ k ← m θ k + ( 1 − m ) θ q \theta_{\mathrm{k}} \leftarrow m \theta_{\mathrm{k}}+(1-m) \theta_{\mathrm{q}} θk​←mθk​+(1−m)θq​

m是(0,1)的动量系数

只有q的参数的更新是使用反向传播的,k的参数并不会被反向传播更新,这样k的参数的更新还会比q的更加平滑

因此,尽管队列中的key由不同的编码器编码(以不同的batch)编码,但这些编码器之间的差异可以很小

一个相对较大的m=0.999 会比一个小m=0.9的效果更好
这表明,一个缓慢进化的key编码器是使用队列的核心

MoCo 和其他方法的不同

请添加图片描述
三者的不同在于:

  1. key是如何维护的
  2. key encoder是如何被更新的

第一种end-to-end,dict和batch都在显存中,因此dict的大小是有限制的,这可能会使这些网络向下游任务的转移复杂化

memory bank也是使用了动量更新,它的动量更新是在同一个样本的表示上,而不是编码器。
这个动量更新与MoCo不同,因为MoCo并没有跟踪每个样本。此外,我们的方法内存效率更高,可以在十亿规模的数据上训练,这对于memory bank来说是难以处理的

Pretext Task

如果一个查询和一个键来自同一图像,则我们将它们视为正对,否则则视为负样本对
我们在随机数据增强下对同一图像进行两个随机的“视图”,形成一个正对
查询和键分别由它们的编码器fq和fk进行编码。该编码器可以是任何卷积神经网络

技术细节

使用resnet作为encoder,最后一层全连接网络的输出向量,经过L2的归一化

t=0.07

数据增强为:

  1. 224x224的裁剪
  2. 随机的颜色抖动
  3. 随机的水平翻转
  4. 随机的灰度转换

Shuffling BN

我们发现,使用BN不会让模型学习的更好
模型似乎“欺骗”借口任务,容易找到低损失的解决方案。这可能是因为样本之间的批内通信(由BN引起的)泄漏信息

我们通过Shuffling BN来解决这个问题
我们使用多个GPU进行训练,并为每个GPU独立地对样本执行BN(正如在常见实践中所做的)

对于key编码器Fk,我们在将其分配到gpu之间之前,在当前的小批中打乱样本顺序(并在编码后调回顺序);查询编码器Fq的小批量的样本顺序没有改变。这确保了用于计算查询的批处理统计信息及其正键来自两个不同的子集
这有效地解决了作弊问题,并允许训练从BN中受益。

使用memory bank的模型没有这个问题,因为正键来自过去不同的batch


Experiments

使用的数据集

  1. ImageNet 1k类,128万数据

  2. Instagram-1B, 10亿数据, 该数据集相对未被整理好,并且具有真实世界数据的长尾、不平衡的分布

  3. ImageNet 1k

    1. batch=256
    2. 8 GPU
    3. 200 epochs
    4. 53个小时
  4. IG-1B

    1. batch=1024
    2. 64 GPU
    3. 1.4 epochs
    4. 6天

线性分类

1-crop, top-1

请添加图片描述
三种机制的比较,上面的K是字典大小

end-to-end的方式的性能与MoCo是相近的,但是因为很占用内存,因此最大的batch会达到限制

memory bank的方式性能会低,这与我们的假设是一致的:记忆库中的键来自过去的epoch的encoder,而且它们并不一致

关于动量m的消融实验

请添加图片描述

动量对比MoCo论文笔记 动量对比MoCo论文笔记Introduction对比学习算法回顾一些定义解释作为字典查询的对比学习三种对比损失机制三种方法在实验中的表现参考文献 Introduction 无监督学习在NLP(自然语言处理)中很成功,但有监督学习在CV(计算机视觉)中仍占主导地位。这是因为语言任务已经有离散的低维信号空间(如词、句等)用于构建字典(dictionary),而在CV中,原始信号(图片等)处于连续的高维空间中,我们应该要进一步关注低维空间中的字典构建。 不明白字典是什么?没关系,在定义部分中会有解释。 对比学习算 阅读详情

相关推荐

对比学习MoCo(Momentum Contrast)论文笔记

论文地址动量队列对比学习的infoNCE loss为什么需要动量队列对比学习moco方法中的动量Encoder为什么不能与梯度Encoder完全相同为什么动量编码器和梯度编码器不能完全相同?动量编码器与梯度编码器不能完全相同的原因稳定性:动量编码器通过平滑的方式更新目标表示,避免了梯度编码器频繁更新带来的不稳定。避免过拟合:动量编码器使目标表示的更新具有延迟性,从而避免模型在每个训练步骤中对当前样本过拟合。探索与利用平衡。

ylzf2008的博客 1882

【无监督学习】1、MOCOv1 | 用于提升无监督学习效果的动量对比学习

本文主要介绍无监督学习之 MOCOv1

呆呆的猫的博客 1670

【计算机视觉】MoCo v2 讲解

SimCLR v1 MoCo v2 对比学习 MLP 非线性映射 数据增强 NT-Xent 正则化 半监督 温度 ImageNet 动量 编码器

LJR的博客 1816

MoCo v1(CVPR 2020)原理与代码解读

本文提出了动量对比(Momentum Contrast,MoCo)作为一种构建大型和一致的字典的方法,用于对比损失的无监督学习

00000cj的博客 2542

Moco入门代码

简单介绍Moco两种使用方式:支持 API 和独立运行。演示接口测试

Halcon 20.11在WPF中的交互式绘图:完整实现矩形ROI的创建、拖动与坐标获取

本文详细介绍了如何在WPF框架下利用Halcon 20.11实现交互式矩形ROI的创建、拖动与坐标获取。通过HDrawingObject和HSmartWindowControlWPF控件,开发者可以高效构建机器视觉应用,提升项目实战中的开发效率。文章涵盖环境配置、事件处理、坐标获取及性能优化等关键内容。

weixin_29266007的博客 427

对比学习MocoV1

队列(样本不用做梯度回传),移动平均编码器(字典里特征尽量保持一致,训练过程中发现很大一致的字典对无监督对比学习有好处))linear protocol:骨干网络预训练好了,用到其他数据集时backbone freeze,只学FC层,间接证明特征提取的好不好全面的在视觉领域比有监督好。

qq_52038588的博客 597

Multisim 14.0实战:从零搭建可调幅多波形信号发生器(附仿真文件)

本文详细介绍了如何在Multisim 14.0中从零搭建一个可调幅多波形信号发生器,涵盖方波、三角波和正弦波的生成原理与实现步骤。通过核心电路架构解析、关键参数设计及Multisim实战操作,帮助电子工程学习者和硬件工程师掌握信号发生器的设计与调试技巧,并提供仿真文件供实践验证。

nokia的博客 1074

MoCov1

由于我们的目的是让输入数据和它的负样本间距离变大,那么随着训练step的增加,用于衡量距离的loss是越来越大了,但是模型也越来越不可能收敛了。不难理解,在不关心大小的前提下,我们每次给模型传送一个batch的数据,那么字典的大小其实也就是这一整个batch的大小,我们其实是在batch内做数据间的对比学习。Memory Bank已衍生出了字典的思想(灰色的memory bank就是),但此时它未及时对bank中的特征做去旧更新,随着训练step的增加,bank中的特征分布差异会越来越大。 whaosoft

whaosoft143ai的博客 340

服务器卡死排查实战:从现象分类到根因定位的完整手册

服务器卡死是运维中最令人头疼的故障之一,从游戏圈吐槽的“土豆服务器”到生产环境中的Linux系统无响应、rsync复制挂起,本质都是系统或进程失去正常响应能力。其原理通常涉及CPU、内存、磁盘IO或网络资源耗尽,以及内核和驱动异常。掌握系统化的排查方法,能够帮助工程师快速定位根因、缩短故障时间,避免盲目重启。本文从资源、层级、场景等多维度分类,结合top、dmesg、strace等工具,梳理一套从现象确认、指标收集、日志分析到进程定位的实战排查流程,并覆盖常见高频场景与预防治理建议。无论你是运维新手还是老手

weixin_33851177的博客 378

量化实战:用三种波动率模型给你的期货策略做个“体检”(附Python代码与螺纹钢案例)

本文深入探讨了三种专业波动率模型(Parkinson、Garman-Klass和Rogers-Satchell)在期货量化策略中的应用,并以螺纹钢期货为例,展示了如何通过Python实现这些模型进行多维度波动率分析。文章详细比较了不同模型的特点和适用场景,提供了动态仓位管理、止损策略优化等实战应用方案,帮助交易者更精准地评估市场风险,优化策略表现。

weixin_26824299的博客 462

对比学习系列(二)---MoCo 系列

MoCo 系列 文章目录MoCo 系列自监督MoCo V1前言动量对比Dictionary as a queueMomentum update代理任务Shuffling BN实验MoCo V2MoCo V3参考 自监督 监督学习在视觉领域应用广泛且成熟,但是也存在着一些挑战:监督学习需要大量带标签的数据,数据易得,但是给数据打标签工作枯燥且繁复,且成本高昂。我们希望能够省去人工标注的环节,使用无标签的数据集去预训练。 自监督学习是一种不需要人工输入数据标签的监督学习。不同于监督学习,自监督学习在没有

陶将的博客 7806

Emotion-LLaMA实战指南:从零构建多模态情感识别系统(附Python代码)

本文提供了Emotion-LLaMA多模态情感识别系统的实战指南。通过详细的步骤,指导读者从零搭建开发环境、运行本地Demo、理解模型架构,并完成数据处理与模型训练。该创新模型融合视觉、听觉与文本信息,实现更精准、接近人类理解的情感分析与推理,并附有完整的Python代码实现。

weixin_29094775的博客 418

MoCo v1 论文阅读笔记

MoCo v1 论文阅读笔记

read, note and comment papers 443

MCGS触摸屏Modbus TCP通讯实战:从寄存器写入到字符串处理的完整代码解析

本文详细解析了MCGS触摸屏通过Modbus TCP协议实现寄存器写入和字符串处理的完整代码,涵盖单寄存器写入、多寄存器写入及字符串传输等核心技术。文章还提供了MCGS组态环境中的实战配置步骤和常见问题排查方法,帮助开发者快速掌握工业自动化通讯的关键技术。

study的专栏 760

【漏洞复现】CVE-2024-44902 Thinkphp反序列化漏洞

Thinkphp v6.1.3至v8.0.4版本中存在反序列化漏洞,攻击者可利用此漏洞执行任意代码。

渗透之路,攻防之间皆学问 6720

李沐论文精读系列三:MoCo、对比学习综述(MoCov1/v2/v3、SimCLR v1/v2、DINO等)

详细介绍了MoCov1模型,以及14种对比学习方法:Inst Disc、Inva Spread、CMC、CPC、MoCov1/v2/v3、SimCLR v1/v2、SwAV、BYOL、SimSiam、DINO

qq_56591814的博客 4万+

3、神经网络在汽车中的应用

本文探讨了神经网络在现代汽车中的多种应用,包括防抱死制动系统(ABS)、燃油喷射系统、自动驾驶辅助系统以及发动机故障诊断。通过详细分析这些系统的具体工作流程和神经网络的集成方式,展示了神经网络如何提升车辆的安全性、效率与智能化水平。

moss5的博客 235

一文搞懂MoCo/MoCo v2/MoCo v3模型

queue是个内存银行,用来存负样本的。queue的维度是K*C,其中K代表有多少个负样本,C代表每个负样本的维度。batch size为N,这里以64为例负样本存在queue中,这里的负样本初始值是随机初始化的。正样本即把输入图像x分别增强得到 x_q, x_k,分别经过encoder之后为q和k,如上图中所示"""计算MoCo对比损失参数:q: 查询特征(query features),形状为 [batch_size, feature_dim]

qq_35661896的博客 3066

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

MoCo v1原理解析

Momentum Contrast for Unsupervised Visual Representation Learning论文阅读笔记  首先需要明确的是无监督模型的正确使用姿势,即先在较大的、难以很好标注的数据集上利用无监督训练得到一个pre-trained模型,再根据下游具体的任务,在较小的、可以很好标注的数据集上,进行有监督的fine-tuning。  很多DL Reseachers都认为深度学习的本质其实就是在做两类upstream tasks:Representation Learnin

PyBigStar的博客 5114

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

MoCo全系列论文详解(含单GPU训练代码)

对比学习的本质实际上是让两个相似(比如相同类别)的图像在特征空间内尽可能相近,不相似的图像尽可能远,这里相似的图像就是正样本,不相似的图像就是负样本。而如何区分正负样本对的方法就形成了各式各样的代理任务(pretext task)。那MoCo所用的代理任务就是个体判别了,每张图像都是单独的一类,在网络中只有原图经过数据增强后的图像属于原图的正样本,其他的图像都是负样本。有了区分正负样本的方法后就是常规的,进入encoder提取特征,输出的特征用NCEloss进行反向传播,梯度下降。

Orange_sparkle的博客 8099

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

MoCo V2:MoCo系列再升级

今天介绍 MoCo 系列第二版 MoCo v2 就是在 SimCLR 发表后结合了 SimCLR 优点的图像自监督学习方法,MoCo v1 和 v2 是针对 CNN 设计的,而 MoCo v3 是针对 Transformer 结构设计的,反映了 MoCo 系列对视觉模型的普适性。...

ZOMI酱 4222

MoCo v2 论文解读

这篇文章的内容只有2页,不能称之为paper,作者本人也称之为note。主要内容就是将SimCLR中的两点改进直接拿来用,作者发现它们和MoCo框架是“orthogonal”的关系,可以改进MoCo的效果并取得比SimCLR更好的精度。

00000cj的博客 1275

终极指南:MoCo对比学习论文精读与实践全攻略

GitHub 加速计划 / pa / paper-reading 项目专注于深度学习经典、新论文逐段精读,本文将带您深入探索 MoCo(Momentum Contrast)对比学习算法,帮助新手和普通用户轻松理解这一计算机视觉领域的重要技术。 ## 什么是对比学习? 对比学习是一种无监督学习方法,通过学习数据之间的相似性和差异性来提取有用的特征表示。在计算机视觉领域,对比学习已成为一种强大的技

gitblog_00764的博客 1048

MoCo v1 vs v2对比:哪个版本更适合你的项目?

🚀 **MoCo(动量对比)** 是无监督视觉表示学习的革命性方法,为计算机视觉领域带来了突破性进展。MoCo v1和v2作为该算法的两个重要版本,在性能和使用体验上有着显著差异。本文将为你详细解析这两个版本的核心差异,帮助你做出最适合的选择!💡 ## 🔍 MoCo算法核心原理 MoCo通过构建**动态字典**和**动量更新**机制,实现了高效的无监督学习。其核心思想是将对比学习应用于视

gitblog_00371的博客 565

MoCo代码分析 [自监督学习]

关键词:MoCo 源码分析。

Wang_Dou_Dou_的博客 1万+
上一篇: DETR论文笔记
下一篇: Deformable DETR 论文笔记
什度学习
博客等级 码龄12年 26粉丝 10原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值