自监督学习概述

原创 于 2024-12-18 23:34:10 发布 · 760 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能

自监督学习（Self-Supervised Learning, SSL）是一种机器学习方法，它通过利用未标注的数据自动生成标签来训练模型。与传统的监督学习需要大量标注数据不同，自监督学习通过从数据本身中提取结构化的知识，消除了对人工标注数据的依赖。通过这一过程，模型能够学习到有用的特征表示，通常可以用于图像分类、语音识别、自然语言处理等各种任务。

                        

自监督学习的基本思想：

自监督学习的核心是“自我生成标签”。它并不是依赖人工标注数据集，而是通过设计特定的任务，强迫模型从未标注的数据中自己构造目标（标签）进行训练。这些任务通过数据变换、遮挡、预测等方式，使模型能够从数据本身学习出深层的结构和规律。

自监督学习的核心流程：

  1. 构造伪标签：自监督学习的第一步是从数据本身生成伪标签。伪标签并非人工提供的标签，而是通过对数据进行某些变换或遮挡，构造出需要预测的目标。例如，在图像中遮挡掉一部分区域，让模型预测该区域内容，或在文本中遮挡一个单词，预测这个单词是什么。

  2. 设计预任务（Pretext Tasks）：预任务是自监督学习中的关键。它通过设计一种任务，让模型通过输入数据学习有意义的特征。常见的预任务有图像重建、预测图像变

最低0.47元/天 解锁文章
Gpengyuyan
关注
自监督学习简介
chumingqian的博客
06-23 1万+
自监督学习是可以看做是一种特殊的无监督学习的一个子类别（但并非无监督学习），因为它利用了未标记的数据。
自监督学习概述(Self-Supervised Learning，SSL)
m0_59257547的博客
07-25 1845
自监督学习（Self-Supervised Learning，SSL）是一种机器学习方法，旨在利用未标记数据进行训练。这种方法通过从数据本身生成伪标签，来创建监督信号，使得模型能够学习有效的数据表示。自监督学习在深度学习领域尤其受到关注，因为标记数据往往昂贵且难以获得，而未标记数据则大量存在。
自监督学习
NYX_UNI的博客
10-17 6583
本文通过整理自监督学习的一系列工作，把主流方法分成三大类，方便大家更全面的了解自监督学习的定义、方法、用途。
自监督学习都有哪些
weixin_61057398的博客
10-11 652
⾃监督学习算法分为两种： 生成式自监督学习与对比式自监督学习： 生成式：训练编码器将输入x编码成显式向量z，解码器从z重建x，最小化重建误差； 对比式：编码器将输入x编码成显式向量z以度量相似性（例如互信息最大化）。（对⽐学习要做的就是学习⼀个编码器f，这个编码器f能够拉近x与其正样本间的距离，推远x与其负样本之间的距离。即：）
2023/8/20周报 自监督学习
user_s1的博客
08-20 759
本周通过对自监督学习的一些案例进行学习从而了解了自监督学习的一些基础概念。自监督学习是无监督学习里面的一种，也被称作pretext task。自监督学习主要是利用辅助任务从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。找到合适的辅助任务（pretext）对于自监督学习是最需要解决的问题。与数据特点相比，辅助任务难一些有助于性能提升。数据和资源越多，自监督预训练的效果会更好（Bert）。
【深度学习】自监督学习详解（self-supervised learning）
Danger的博客
01-30 2万+
详解！自监督学习：对比学习和生成学习。
监督学习概述
慎铭的博客
08-29 1万+
监督学习的特点是既有输入，也有结果。 我们输入的数据是（x，y）这种样本点的模式，x是我们输入的数据量，y是我们想要的结果。通过学习系统得到一个模型，得到一个y和x的函数关系，或者一个条件概率模型，即y在x的前提下发生的概率。 监督学习（Supervised Learning）算法构建了包括输入和所需输出的一组数据的数学模型。这些数据称为训练数据，由一组训练样本组合。 监督学习主要包括分类和回归。当输出被限制为有限的一组值（离散数值...
自监督学习（二）自监督学习性能概述
weixin_47444348的博客
04-30 3487
Scaling and Benchmarking Self-Supervised Visual Representation Learning介绍 介绍
自监督学习（SSL）Self-Supervised Learning
luemeon的博客
06-16 9564
有监督和无监督最主要的区别在于模型在训练时是否需要人工标注的标签信息。自监督学习最主要的目的就是学习到更丰富的语义表征。评测自监督学习的能力，主要是通过 Pretrain-Fintune 的模式。监督的 Pretrain - Finetune 流程：1.从大量的有标签数据上进行训练，得到预训练的模型，2.对于新的下游任务（Downstream task），我们将学习到的参数（比如输出层之前的层的参数）进行迁移，在新的有标签任务上进行「微调」，从而得到一个能适应新任务的网络。自监督的 Pretrain - F
自监督学习的知识点总结
deephub
03-17 5088
本篇文章将对自监督学习的要点进行总结，包括以下几个方面： 监督学习与自监督学习 自监督学习需求背后的动机 NLP 和CV中的自监督学习 联合嵌入架构 对比学习 关于数据增强的有趣观察 非对比学习 总结和参考 监督学习与自监督学习 监督学习：机器学习中最常见的方法是监督学习。在监督学习中，我们得到一组标记数据（X，Y），即（特征，标签），我们的任务是学习它们之间的关系。但是这种方法并不总是易于处理，因为- 训练通常需要大量数据，而标记数百万行数据既耗时又昂贵，这就对许多不同任务的训练模型造成了瓶颈。 以
自监督Self-supervied 学习笔记
weixin_45928096的博客
09-26 1784
自监督学习的思想很简单，设计一个辅助训练目标，然后利用大量无标注的数据本身的结构或者特性【标签不需要人工标注】，训练网络使得网络具备特征提取的能力。 在网络具备特征提取能力后，通过少量的有标注的数据对网络进行微调，使得网络具有分类的能力。 总之，自监督的监督信号来源于数据本身的内容，也就是自己给自己监督信号(self的含义)。也可以认为是实例级别的标注，每个样本是一个类。
自监督学习（self-supervised learning）（20201124）
WallE
11-24 2万+
看论文总是会看出来一堆堆奇奇怪怪的名词。 从远程监督、有监督、半监督、无监督开始，最近又看到了一个自监督。 首先先对上面的概念进行简述： 半监督（semi-supervised learning）：利用好大量无标注数据和少量有标注数据进行监督学习； 远程监督（distant-supervised learning）：利用知识库对未标注数据进行标注； 无监督：不依赖任何标签值，通过对数据内在特征的挖掘，找到样本间的关系，比如聚类相关的任务。 自监督：利用辅助任务从无监督的数据中挖掘大量自身的信息。
自监督学习 | (1) Self-supervised Learning入门
热门推荐
sdu_hao的博客
02-26 13万+
原文地址 本文通过整理自监督学习的一系列工作，把主流方法分成三大类，方便大家更全面的了解自监督学习的定义、方法、用途。 学习的范式 我们首先来回顾下机器学习中两种基本的学习范式，如图所示，一种是监督学习，一种是无监督学习（林轩田课程中把机器学习范式分为监督学习、半监督学习、无监督学习以及强化学习）。 监督学习利用大量的标注数据来训练模型，模型的预测和数据的真实标签产生损失后进行反向传播（计算梯度...
自监督学习（Self-Supervised Learning）
A17756070461的博客
05-20 7190
自监督学习（Self-Supervised Learning） 在神经网络的训练中，良好的性能通常需要大量有标签的数据，但是收集带有手工标签的数据是非常昂贵的(例如ImageNet)，并且很难扩大规模。考虑到未标记数据(如免费文本，互联网上的所有图像)的数量远远超过人类管理的标记数据集的数量，不使用它们是一种浪费。然而，无监督学习并不容易，而且效率通常比监督学习低得多。如果我们可以为无标记的数据免费获得标签，并以监督的方式训练无监督的数据集，那会怎么样呢？我们可以通过构建一个特殊形式的监督学习任务来实现这一
自监督（无监督）学习笔记（更新至MoCo v1）
RuixuanZhang的博客
08-16 735
博主近期正在学习自监督四部曲，欢迎感兴趣的cv小伙伴们相互讨论。
自监督学习（一）自监督学习介绍
weixin_47444348的博客
04-28 4770
自监督学习OverviewWhat is Self-Supervised Learning?Why is Self-Supervised Learning?Some ExamplesUnsupervised Visual Representation Learning by Context PredictionUnsupervised Representation Learning by Pred...
【机器学习】--- 自监督学习
2301_80863610的博客
09-17 5614
在监督学习和无监督学习之外，自监督学习（Self-Supervised Learning, SSL）作为一种新兴的学习范式，逐渐成为机器学习研究的热门话题之一。通过设计合理的预训练任务，模型能够学习到更加通用的数据表示，进而提升下游任务的性能。自监督学习的关键在于设计出有效的预训练任务，使模型在完成这些任务的过程中能够学习到数据的有效表示。本篇博客将详细介绍自监督学习的核心思想、常见的自监督学习方法及其在实际任务中的应用。在监督学习中，模型的训练需要依赖大量的人工标注数据，而无监督学习则没有明确的标签。
自监督学习应用
smilelingling的博客
10-26 826
自监督学习主要是利用辅助任务（pretext）从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。（也就是说自监督学习的监督信息不是人工标注的，而是算法在大规模无监督数据中自动构造监督信息，来进行监督学习或训练。因此，大多数时候，我们称之为无监督预训练方法或无监督学习方法，严格上讲，他应该叫自监督学习）
CIFAR10自监督学习
最新发布
12-27
### 关于CIFAR10数据集的自监督学习方法 #### CIFAR10 数据集简介 CIFAR-10 是一个广泛用于机器学习和计算机视觉研究的数据集，由 10 类彩色图像组成，每类有 6,000 张图片。这些图像是从互联网上收集并标注的[^1]。 #### 自监督学习概述 自监督学习是一种无需人工标签的学习方式，在训练过程中通过设计预定义的任务来挖掘输入数据中的结构化信息。对于像 CIFAR-10 这样的图像分类任务来说，可以利用旋转预测、对比学习等技术来进行有效的特征提取。 #### 对比学习框架MoCo v2+ 一种流行的自监督表示学习算法是 MoCo (Momentum Contrast)，它构建了一个动态字典以保持负样本队列，并引入动量更新机制使得键编码器更加稳定。改进版本 MoCo V2+ 结合了 SimCLR 的增强策略以及温度参数调整，进一步提升了性能表现[^3]。 ```python import torch from torchvision import datasets, transforms from moco.builder import MoCo # 配置超参 batch_size = 256 epochs = 200 lr = 0.03 temperature = 0.2 # 加载CIFAR10数据集 transform_train = transforms.Compose([ transforms.RandomResizedCrop(32), transforms.RandomHorizontalFlip(), transforms.ToTensor() ]) train_dataset = datasets.CIFAR10(root='./data', train=True, download=True, transform=transform_train) model = MoCo(dim=128, K=65536, m=0.999, T=temperature).cuda() optimizer = torch.optim.SGD(model.parameters(), lr, momentum=0.9, weight_decay=1e-4) ``` #### 使用SimSiam进行无监督表征学习 另一种简单而强大的方案叫做 SimSiam，该模型不依赖任何负样本来工作，仅需两个随机变换后的视图作为正样本对即可完成训练过程。此特性使其非常适合处理大规模未标记数据集的情况。 ```python from simsiam.builder import SimSiam # 初始化SimSiam架构 simsiam_model = SimSiam().cuda() for epoch in range(start_epoch, epochs): for idx, (images, _) in enumerate(train_loader): im_1, im_2 = images[0].cuda(non_blocking=True), \ images[1].cuda(non_blocking=True) # 计算损失函数 loss = simsiam_model(im_1, im_2) optimizer.zero_grad() loss.backward() optimizer.step() ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值