目标检测模型预训练——自监督对比学习

原创 已于 2023-07-14 17:02:02 修改 · 1.3k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#目标检测 #学习 #深度学习

于 2023-04-19 14:40:46 首次发布
这些文章探讨了使用对比学习提升视觉预训练效率和准确性，特别是在目标检测任务中。通过点级区域对比、对象级对比、密集对比以及提案对比等方法，研究人员旨在无监督或少监督的环境下，让模型学习到更精确的特征表示，从而改进检测性能。

传统模型

Efficient Visual Pretraining with Contrastive Detection

文章：Efficient Visual Pretraining with Contrastive Detection (readpaper.com)

Point-Level Region Contrast for Object Detection Pre-Training

文章：Point-Level Region Contrast for Object Detection Pre-Training (readpaper.com)

采样点来替代此前方法中的 proposal，将不同区域内不同的采样点构建为样本对，以希望模型学习出更准确的特征表达。

Aligning pretraining for detection via object-level contrastive learning

最低0.47元/天 解锁文章
基于对比学习的目标检测预训练方法
AI架构师小马
06-07 502
目标检测是计算机视觉的核心任务之一（比如自动驾驶识别行人、安防系统检测异常物体）。传统方法依赖大规模标注数据训练，但现实中高质量标注成本高昂。本文聚焦的"基于对比学习的目标检测预训练方法"，正是为了解决这一痛点——通过自监督的预训练（无需人工标注），让模型先学会"基础侦探技能"，再用少量标注数据快速适应具体检测任务。本文将按照"故事引入→核心概念→原理拆解→实战演示→应用展望"的逻辑展开。用"侦探学校训练"类比技术流程，用"找不同游戏"解释对比学习，最后通过PyTorch代码示例展示完整实现。
自监督学习中的预训练模型：原理、应用与优化策略
最新发布
AI 原生应用开发的博客
07-17 1162
而“预训练模型”（Pre-trained Model）就是用这种方法在海量数据上训练出来的“通用知识底座”，比如BERT、GPT、SimCLR这些耳熟能详的模型，都是自监督预训练的产物。没人逐句教他“主语+谓语+宾语”的语法，也没人给每句话标上“这是陈述句”“那是疑问句”的标签，但他就是能通过听大人聊天，慢慢学会理解语义、组织句子。自监督学习中的预训练模型，本质上是为AI构建了一个“知识阶梯”——从“通用特征”到“专用任务”，从“海量数据”到“少量标注”，让AI能更高效地学习和应用知识。
ICCV 2021 | 港大&武大提出DetCo：用于目标检测的无监督对比学习
阿木寺的博客
07-26 7223
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者丨小马转载自丨极市平台导读作者专为目标检测任务“量身定制”了对比学习框架DetCo，在PASCAL VOC数据集上...
【自监督】系列（一）-对比学习（contrastive learning）
向上生长的程序媛的博客
03-30 2445
一文详解MoCo的核心思想：第一是提出了Momentum Contrast（动量对比）的概念，第二是通过队列对数据结构进行维护（队列：先进先出）。本文详解自监督学习的对比学习思想
自监督目标检测论文阅读：Dense Contrastive Learning for Self-Supervised Visual Pre-Training
weixin_44162984的博客
09-24 1142
背景： 自监督学习可以使用大量无标签数据训练网络，得到一个优秀的特征提取器，进而可以将该特征提取器用于多种下游任务，比如图像分类、目标检测、目标跟踪、语义分割等。在下游任务中可以根据情况选择要不要对特征提取器进行微调。 经过近两年自监督学习算法的发展，自监督学习获得的特征提取器性能已经可以和监督学习相媲美，尤其是对比自监督学习，比如SimCLR、MoCo等算法在下游任务中的表现良好。 作者发现在一些针对像素级特征的下游任务上，常用的对比自监督学习甚至是监...
自我学习的守护者：自监督目标检测的前沿探索
2401_85760095的博客
07-21 1342
自监督目标检测的核心在于设计一种预测任务，使得模型能够从未标注的数据中学习到目标的存在和位置。自监督目标检测作为一种新兴的目标检测方法，通过利用数据自身的监督信号，减少了对标注数据的依赖，提高了模型的泛化能力和鲁棒性。本文详细介绍了自监督目标检测的基本原理、关键技术和实现方法，并通过代码示例展示了其应用过程。
目标检测算法对比_吴恩达深度学习笔记(94)-目标检测之检测算法
weixin_39524439的博客
11-18 282
目标检测(Object detection)学过了对象定位和特征点检测，今天我们来构建一个对象检测算法。这节课，我们将学习如何通过卷积网络进行对象检测，采用的是基于滑动窗口的目标检测算法。假如你想构建一个汽车检测算法，步骤是(以上图为例)，首先创建一个标签训练集，也就是x和y表示适当剪切的汽车图片样本，这张图片(编号1)x是一个正样本，因为它是一辆汽车图片，这几张图片(编号2、3)也有汽车，但这两...
自监督表征预训练之对比学习
weixin_44966641的博客
02-23 1903
自监督表征预训练之对比学习
SSD目标检测网络预训练模型
02-27
SSD目标检测网络预训练模型
【自监督学习完整教程】第 2 章：预训练任务设计——自监督学习的“引擎”
u012133341的博客
06-25 81
本章我们深入剖析了自监督学习的“引擎”——预训练任务。我们了解了生成式任务（如自编码器、图像修复）和判别式任务（如图像旋转、拼图、颜色化），并初步认识了当前最前沿的对比式任务。我们强调了设计预训练任务的关键原则，包括捕捉数据内在结构、避免平凡解以及确保学到有用特征。通过BERT的MLM和SimCLR的对比学习这两个经典案例，我们看到了预训练任务如何在NLP和CV领域发挥核心作用。最后，通过图像拼图任务的代码实践，你亲身体验了如何利用无标签数据设计并训练一个能学习图像复杂结构特征的自监督模型。
蒙特利尔最新《自监督少样本目标检测》
10-30
标记数据通常是昂贵和耗时的，特别是对于目标检测和实例分割等任务，这需要密集的图像标记。虽然少样本目标检测是关于用很少的数据在新的(看不见的)目标类上训练模型，但它仍然需要在许多标记的基类(见)的示例上进行预训练。另一方面，自监督方法旨在从未标记的数据中学习表示，这些数据可以很好地转移到下游任务，如目标检测。将少样本和自监督目标检测相结合是一个很有前景的研究方向。
MoCo不适用于目标检测？MSRA提出对象级对比学习的目标检测预训练方法SoCo！性能SOTA！（NeurIPS 2021）...
我爱计算机视觉
02-13 2208
关注公众号，发现CV技术之美本文分享NeurIPS 2021 论文『Aligning Pretraining for Detection via Object-Level Contras...
目标检测 tensorflow(预训练模型）
weixin_30902251的博客
05-27 384
tensorflow detection model zoo: 在这个链接当中哦有训练好的checkpoint： https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/detection_model_zoo.md 这里的模型是基于COCO dataset， Kitti dataset， Oe...
自监督目标检测：不用在ImageNet上训练的目标检测（附论文下载）
gzq0723的博客
06-18 3685
计算机视觉研究院专栏作者：Edison_G现在的自监督学习通过在ImageNet数据集上实现图像分类来进行无监督的预训练，通过最大化不同图像之间的距离（相似度），最小化同一张图像的不同视图...
自监督论文阅读笔记 DetCo: Unsupervised Contrastive Learning for Object Detection
YoooooL_的博客
06-21 1486
本文提出了一种简单而有效的目标检测自监督方法 DetCo。无监督的预训练方法最近被设计用于目标检测，但它们通常在图像分类方面存在缺陷，或相反。与它们不同，DetCo在下游实例级密集预测任务上迁移性能良好，同时保持具有竞争力的图像级分类精度。 它的优势来自于 (1)对中间表征的多级监督，(2)全局图像和局部patch之间的对比学习。这两种设计有利于在特征金字塔的每一层进行有区别的、一致的全局和局部表示，同时提高了检测和分类的效率。例如，在ImageNet分类中，DetCo的top-1准确率比In
【论文翻译_自监督、目标检测】Distilling Localization for Self-Supervised Representation Learning
qq_45128278的博客
03-07 2460
摘要 对比学习的最新进展彻底改变了无监督表征学习。具体来说，来自同一图像的多个视图（增强）被鼓励映射到类似的嵌入，而来自不同图像的视图被分开。在本文中，通过可视化和诊断分类错误，我们观察到当前的对比模型在定位前景对象方面是无效的，限制了它们提取有区别的高层特征的能力。这是因为视图生成过程统一考虑图像中的像素。为了解决这个问题，我们提出了一种数据驱动的学习背景不变性的方法。它首先估计图像中的前景显著性，然后通过复制和粘贴前景到各种背景上来创建增强效果。学习仍然遵循实例辨别借口任务，因此，表征被训练为忽略背景内
自监督目标检测论文self-EMD阅读报告
weixin_44162984的博客
09-13 992
self-EMD核心思想 提出了一个应用于目标检测的自监督表示学习方法——self-EMD，可以直接采用COCO数据集（non-iconic）进行训练，不像传统的方法在ImageNet数据集(iconic-object)上进行训练。利用卷积特征图作为image embedding（一般的自监督学习的方法采用经过感知机后的一位向量作为embedding，损失了空间结构，但是目标检测住主要依赖于空间结构），并使用EMD(Earth Mover’s Distance)（ps：我自称为其是挖地距离...
自监督论文阅读笔记 Self-EMD: Self-Supervised Object Detection without ImageNet
YoooooL_的博客
05-04 2240
提出了一种新的自我监督表示学习方法 Self-EMD，用于目标检测。Self-EMD直接在 COCO 等未标记的非标志性图像数据集上进行训练，而不是像 ImageNet 这样常用的标志性目标图像数据集。Self-EMD将卷积特征图作为图像嵌入来保留空间结构，并采用EMD来计算两个嵌入之间的相似性。受益于 更多未标记数据 的优点。 自监督学习流程的潜在先验 是同一图像的不同视图/裁剪对应于同一对象。因此最大化他们的一致性可以学习有用的特征。这个关键的先验实际上高度 依赖于预...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值