Self-supervised Learning整理

最新推荐文章于 2024-03-29 10:45:00 发布
原创 最新推荐文章于 2024-03-29 10:45:00 发布 · 1.8k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #自然语言处理 #机器学习

本文深入探讨了自我监督学习（Self-supervised Learning, SSL）的概念，其中预训练（Pre-train）和微调（Fine-tune）是关键步骤。预训练在大规模无标签数据上构建有用的特征提取器，如Encoder，然后通过Projection Head得到嵌入向量。微调阶段则是在特定下游任务的小规模有标签数据集上进行，可以选择固定Encoder或对其进行微调。SSL通过对比学习和生成/预测方法寻找数据间的内在联系，以实现高效的学习。SimCLR等方法进一步优化了这一过程，使得在少量有标记数据下也能取得良好效果。
部署运行你感兴趣的模型镜像

Self-supervised Learning

Pre-train Fine-tune

Pre-train Fine-tune算是一种Transfer Learning。

首先，假设按照SimCLR中的设定，将一般的模型分为两部分，分别为Encoder和Projection Head。Encoder结构类似于AutoEncoder中的Encoder部分，输出是一个低维的张量，可以称为输入数据的表征。Projection Head可以认为是一个全连接层，将Encoder输出的张量映射为更低维的张量（或者称为嵌入向量）。
在这里插入图片描述

Pre-train就是预训练Encoder部分，得到一个有用的表征，通过Projection Head得到输出的嵌入向量，进行损失函数计算和模型更新。然后在不同的下游任务中，删掉Projection Head，重新训练。

预训练Encoder的过程就是Pre-train；删掉Projection Head，重新训练的过程就叫做Fine-tune

此处的重新训练可以分为两种：

  1. ConvNet as fixed feature extractor：即删掉Projection Head后，重新训练一个Projection Head。
  2. Fine-tuning the ConvNet：即对Encoder进行微调，同时重新训练一个Projection Head

对于Self-supervised Learning，要明确其严格意义上讲叫做无监督表示学习。和传统的无监督学习不同，SSL最终还是会用到有标记数据，只不过相对于监督训练，可以在极小的有标记数据下实现较高的正确率。

SSL一般将Pre-train和下游任务的fine-tune分开，不过也有很多文章尝试将二者结合起来。总而言之，四个词总结为：

Unsupervised Pre-train, Supervised Fine-tune.

Self-supervised Learning

Self-supervised Learning就是通过大量无标记数据，找寻数据之间的内在关系，建立一个能够提取泛化特征的Encoder，然后根据下游任务的需要，在下游任务的少量有标记数据集中进行Fine-tune。从生物的角度讲，可以理解为在无标记数据集中培育一个干细胞，然后在具体的下游任务中，利用少量资源，就可以将干细胞分化为红细胞、白细胞、上皮细胞；而不是每次都搞大量资源从头开始造不同结构的不同细胞。根据寻找这种内在关系的方式不同，可以将SSL分为两个大类（也有文章分为三个大类）：

  1. 基于生成/预测的SSL
  2. 基于对比的SSL

基于生成/预测的SSL

image-20210828153720420

对于第一种，基于生成/预测的SSL，典型的有Context Encoders: Feature Learning by Inpainting，通过对图像的一部分扣除，将扣除后剩余部分进行Encoder，输出一个大小与扣除部分相同的张量，然后将扣除的部分和Encoder输出的部分做Loss，就可以让Encoder全面的知道输入的图片究竟是怎么样的。（当然也可以用来做一些图像补全工作）

image-20210828195036104

基于对比的SSL

这部分是目前研究的重点，有一些典型的文章：

DIM

原文：Learning Deep Representations By Mutual Information Estimation And Maximization
解读：to do …

CPC

原文：Representation Learning with Contrastive Predictive Coding
我的解读

CMC

原文：Contrastive Multiview Coding
解读：to do …

MoCo

原文：Momentum Contrast for Unsupervised Visual Representation Learning
解读：to do …

SimCLR(*****)

SimCLR及其改进版本SimCLR-v2，其完整过程请参考（大佬们已经总结得十分详细了，没有必要再整理了）：

详细介绍

精简思路

您可能感兴趣的与本文相关的镜像

Seed-Coder-8B-Base

Seed-Coder-8B-Base

文本生成
Seed-Coder

Seed-Coder是一个功能强大、透明、参数高效的 8B 级开源代码模型系列，包括基础变体、指导变体和推理变体，由字节团队开源

自监督学习(Self-Supervised Learning)
AI天才研究院
07-12 1048
自监督学习(Self-Supervised Learning) Self-Supervised Learning. 自监督学习(Self-Supervised Learning)是一种无监督表示学习方法，
自监督学习（self-supervised learning）（20201124）
WallE
11-24 2万+
看论文总是会看出来一堆堆奇奇怪怪的名词。 从远程监督、有监督、半监督、无监督开始，最近又看到了一个自监督。 首先先对上面的概念进行简述： 半监督（semi-supervised learning）：利用好大量无标注数据和少量有标注数据进行监督学习； 远程监督（distant-supervised learning）：利用知识库对未标注数据进行标注； 无监督：不依赖任何标签值，通过对数据内在特征的挖掘，找到样本间的关系，比如聚类相关的任务。 自监督：利用辅助任务从无监督的数据中挖掘大量自身的信息。
自监督学习 | (1) Self-supervised Learning入门
胭脂草的ABC博客
06-23 933
自监督学习 | (1) Self-supervised Learning入门 本文通过整理自监督学习的一系列工作，把主流方法分成三大类，方便大家更全面的了解自监督学习的定义、方法、用途。 学习的范式 我们首先来回顾下机器学习中两种基本的学习范式，如图所示，一种是监督学习，一种是无监督学习（林轩田课程中把机器学习范式分为监督学习、半监督学习、无监督学习以及强化学习）。 监督学习利用大量的标注数据来训练模型，模型的预测和数据的真实标签产生损失后进行反向传播（计算梯度、更新参数），通过不断的学习，最终可
2023/8/20周报 自监督学习
user_s1的博客
08-20 762
本周通过对自监督学习的一些案例进行学习从而了解了自监督学习的一些基础概念。自监督学习是无监督学习里面的一种，也被称作pretext task。自监督学习主要是利用辅助任务从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。找到合适的辅助任务（pretext）对于自监督学习是最需要解决的问题。与数据特点相比，辅助任务难一些有助于性能提升。数据和资源越多，自监督预训练的效果会更好（Bert）。
自监督学习（Self-Supervised Learning）
A17756070461的博客
05-20 7196
自监督学习（Self-Supervised Learning） 在神经网络的训练中，良好的性能通常需要大量有标签的数据，但是收集带有手工标签的数据是非常昂贵的(例如ImageNet)，并且很难扩大规模。考虑到未标记数据(如免费文本，互联网上的所有图像)的数量远远超过人类管理的标记数据集的数量，不使用它们是一种浪费。然而，无监督学习并不容易，而且效率通常比监督学习低得多。如果我们可以为无标记的数据免费获得标签，并以监督的方式训练无监督的数据集，那会怎么样呢？我们可以通过构建一个特殊形式的监督学习任务来实现这一
自监督学习（SSL）Self-Supervised Learning
luemeon的博客
06-16 9582
有监督和无监督最主要的区别在于模型在训练时是否需要人工标注的标签信息。自监督学习最主要的目的就是学习到更丰富的语义表征。评测自监督学习的能力，主要是通过 Pretrain-Fintune 的模式。监督的 Pretrain - Finetune 流程：1.从大量的有标签数据上进行训练，得到预训练的模型，2.对于新的下游任务（Downstream task），我们将学习到的参数（比如输出层之前的层的参数）进行迁移，在新的有标签任务上进行「微调」，从而得到一个能适应新任务的网络。自监督的 Pretrain - F
【深度学习】自监督学习详解（self-supervised learning）
Danger的博客
01-30 2万+
详解！自监督学习：对比学习和生成学习。
EEG and Self-supervised Learning
03-22
标题 "EEG and Self-supervised Learning" 涉及到的是使用深度学习技术对脑电图（EEG）数据进行分析的研究领域。EEG是一种记录大脑电活动的技术，广泛应用于神经科学、医学诊断和生物信号处理。自我监督学习是机器...
Self-supervised learning methods and applications in medical im
09-25
自我监督学习方法与医疗成像分析的应用：一项调查 在医疗成像分析领域，高质量注释的医学图像数据集的可用性是一个重大问题，它阻碍了机器学习应用的发展。自我监督学习是一种新兴的训练范式，它允许在无需人类注释...
【GNN综述_2021_11】Graph Self-Supervised Learning: A Survey
09-02
图神经网络（GNNs）是深度学习在处理图数据时的重要工具，它们能够学习节点、边和整个图的表示。然而，传统的图学习方法，尤其是（半）监督学习，严重依赖于大量的人工标签，这限制了其泛化能力和鲁棒性。...
Pareto Self-Supervised Training for Few-Shot Learning.pdf
11-17
为了解决这个问题，自监督学习（Self-Supervised Learning, SSL）引入了一种新的思路，它通过利用未标记数据来构建监督信号，无需大量人工标注。 小样本辅助学习（Few-shot Auxiliary Learning）是结合FSL和SSL优势...
Self-Supervised-Learning-in-Medical-Imaging
03-13
医学影像中的自我监督学习 与医学影像有关的自我监督论文的不完整清单，重点是分析。 2021年 。 TMI。 。 TMI。 。 TMI。 。 TMI。 。 医学图像分析。 。 医学图像分析。 。 （接受）AAAI2021。... ECCV2020
自监督学习self-supervised learning 概述
二十年蝉电子学习博客
11-22 5582
深度学习被分为：监督学习，无监督学习和自监督学习。监督学习近些年获得了巨大的成功，但是有如下的缺点：1.人工标签相对数据来说本身是稀疏的，蕴含的信息不如数据内容丰富；2.监督学习只能学到特定任务的知识，不是通用知识，一般难以直接迁移到其他任务中。无监督学习算法的结果可能不太准确,因为输入数据没有标记,并且算法事先不知道确切的输出。由于这些原因，自监督学习的发展被给予厚望。自监督学习（Self-Supervised Learning）是无监督学习里面的一种，也被称作(pretext task)
【机器学习基础】Self-Supervised Learning入门介绍
fengdu78的博客
11-26 716
引子最近 self-supervised learning 变得非常火，首先是 kaiming 的 MoCo 引发一波热议，然后最近 Yann 在 AAAI 上讲 self-superv...
Self-supervised Learning
zzz_qing的博客
04-23 296
Self-Supervised Learning，又称为自监督学习。一般机器学习分为有监督学习，无监督学习和强化学习。而 Self-Supervised Learning 是无监督学习里面的一种，主要是希望能够学习到一种通用的特征表达用于下游任务 (Downstream Tasks)。其主要的方式就是通过自己监督自己。
【系列论文研读】Self-supervised learning：rotating，M&M tuning，Jigsaw++
Always_ease的博客
07-10 2448
Self-supervised Spatiotemporal Feature Learning by Video Geometric Transformations 处理数据：video 方法： a set of pre-designed geometric transformations (e.g. rotating 0°, 90°, 180°, and 270°) are applied...
【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）
py今天刷题了吗
12-23 841
文章目录3_BERT的奇闻轶事Why does BERT work？To Learn MoreMulti-lingual BERT（多语言BERT）BERT有跨语言的功能？前提是资料量要够多才能train起来..，过了两天loss掉下去了BERT还有很多不被理解的，说明可以探究的空间很大4_GPT的野望20分钟就可以微调作业7了，但GPT实在太过巨大了，train一个epoch可能都有困难How to use GPT？Self-supervise Learning还有更多的领域应用，不止在翻译，还有CV你也
机器学习的分类——自监督学习（Self-supervised Learning）
guojunwu1977的博客
03-29 1265
自监督学习（Self-supervised Learning）是机器学习的一种形式，它在监督学习和无监督学习之间架起了一座桥梁。自监督学习不依赖于传统意义上的标记数据，而是从输入数据本身生成监督信号来训练模型。这种方法允许模型在没有显式标签的情况下学习数据的有用表示，从而利用大量未标记的数据来提高学习效率和性能。
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Self-supervised Learning（自监督式学习）
热门推荐
知不足而奋进，望远山而前行
01-06 2万+
在训练的时候，BERT的输入是Mask的，如下图所示，输入“台湾大学”中的“湾”字被Mask了，通常Mask有两种方式，一种是替换为特殊的Mask符，还有一种是随机替换为另一个中文字符。Predict Next Token 是生成式的，它可以根据输入的Token预测下一个Token，然后再用预测的Token作为输入继续往下预测Token，直到预测出现终止符停止。有很多方法，如下图所示，实验表明，把这些扰动的方法都用上效果是比较好的。如下图所示，线性层的参数是随机初始化的，而BERT的参数是预训练后得到的。
Self-Supervised Learning, SSL
最新发布
11-23
Self-Supervised Learning（SSL，自监督学习）是一种强大的机器学习范式，旨在利用未标记数据进行训练。这种方法通过从数据本身生成伪标签，来创建监督信号，使得模型能够学习有效的数据表示。在深度学习领域，标记数据往往昂贵且难以获得，而未标记数据则大量存在，因此自监督学习受到了广泛关注[^1][^2]。 自监督学习不仅在NLP领域，在CV、语音领域也有很多经典的工作，它可以分成3类：Data Centric、Prediction（也叫Generative）和Contrastive[^3]。通过自监督学习，可以利用未标注数据来提取有效的特征，进而用于各种下游任务。在实际应用中，自监督学习具有能够充分利用大量未标记数据的优势，不过也可能存在一定的限制，在具体使用时需对其定义、主要技术方法、实现策略以及优势和限制进行深入分析[^1]。 ### 代码示例（示意性） 以下是一个简单的Python伪代码示例，示意自监督学习中预训练和微调的过程： ```python import torch import torch.nn as nn import torch.optim as optim # 定义一个简单的神经网络模型 class SimpleModel(nn.Module): def __init__(self): super(SimpleModel, self).__init__() self.fc1 = nn.Linear(10, 20) self.fc2 = nn.Linear(20, 1) def forward(self, x): x = torch.relu(self.fc1(x)) x = self.fc2(x) return x # 初始化模型 model = SimpleModel() # 自监督预训练阶段 # 假设这里有未标记数据 unlabeled_data unlabeled_data = torch.randn(100, 10) criterion = nn.MSELoss() optimizer = optim.Adam(model.parameters(), lr=0.001) for epoch in range(10): outputs = model(unlabeled_data) # 这里简单假设生成的伪标签是输入数据的某种变换 pseudo_labels = unlabeled_data.sum(dim=1, keepdim=True) loss = criterion(outputs, pseudo_labels) optimizer.zero_grad() loss.backward() optimizer.step() # 微调阶段 # 假设这里有标记数据 labeled_data 和对应的标签 labels labeled_data = torch.randn(20, 10) labels = torch.randn(20, 1) for epoch in range(5): outputs = model(labeled_data) loss = criterion(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值