Self-supervised

最新推荐文章于 2025-05-04 12:37:07 发布
最新推荐文章于 2025-05-04 12:37:07 发布
阅读量1.5k 收藏 2
点赞数
分类专栏： 笔记 文章标签： 深度学习 神经网络 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41807182/article/details/114224312
版权

本文针对自己阅读文献资料做的笔记：

目录：

1.为什么会有self-supervised？

2.什么是self-supervised？


 1.为什么会有self-supervised？

        为了利用深度网络进行有监督学习时，我们需要大量有标签的数据。而现实生活中，有很多领域的有标签数据很少，而我们只能通过类似人工标注的方法获得相对应的大量标记数据，该过程是非常耗时耗力。相反，无标签的数据在当今信息时代是非常多的，而如何将这些数据合理应用以服务于我们的生活则显得格外重要，所以self-supervised近几年的快速发展也就水到渠成了。
在这里插入图片描述

 2.什么是self-supervised？

        self-supervised learning是一种将无监督学习问题以构建pretext tasks的形式来形成pseudo label以“监督”网络的训练。

在这里插入图片描述
以self-supervised的方式学习训练一个具有较好特征表示能力的网络后，可在其基础上，加入其他的下游任务，如分类任务：
在这里插入图片描述
—https://amitness.com/2020/02/illustrated-self-supervised-learning/

机器学习13 -- 无监督学习之自监督 self-supervised
谢杨易的博客
09-12 1万+
1 为什么要自监督学习 self-supervised learning 自监督学习是无监督学习的一种特殊方式。我们在无监督学习中讲过了，标注label是十分宝贵的，一般需要人工打标，时间和人力成本都十分高昂。但现实中，获取无标注data确实相对比较easy的事情。我们可以在网络上爬取很多很多的文本、图片、语音、商品信息等。如何利用这些无标注data，一直以来都是无监督学习的一个重要方向。而自监督学习则给出了一种解决方案。 自监督学习通过data的一部分，来predict其他部分，由自身来提供监督信号，
深度聚类（deep clustering）中的自监督（self-supervised）表示学习（representation learning）
qq_35803227的博客
12-14 4304
序言 两年之前开始学习深度聚类，首先是被其面对高维复杂海量数据时聚类效果的大幅度提升所吸引，两年之前那个“意气风发”的我读了几篇论文，以为自己已了解其主体，便动手写了那么几篇论文，结果是被现实摁在地上狠狠的摩擦。我开始重新审视这个方向。深度聚类中，深度模型的多样化，经典的有自动编码器AE,变分自动编码器 VAE,生成对抗网络GAN,高斯混合模型GMM以及近几年流形起来的图神经网络GCN等，聚类算法的多样性有经典的kmeans，凝聚聚类，谱聚类等。我把自己的目标定位在神经网络部分，而每类神经网络模型都是被损失
supervised——＞self-supervised
weixin_41807182的博客
03-02 532
在CV中，以数据与神经网络为基础，我们通常以supervised的方式与unsupervised的方式来进行网络的训练，这些行为的目的都是为了想要使学到的网络能够具有较好的特征表示能力，以进行如分类、目标检测、语义分割等。这两种方式的主要异同在于数据是否有无label。 Supervised： 以简单的分类任务为例： 现有不同的猫的数据集：n张，标签均以1表示；不同的狗的数据集：n张，标签均以0表示； 以supervised的方式进行训练，将这些样例输入网络模型中，通过数据与标签构建损失，以进行梯度反传更新
Self-Supervised Learning 超详细解读 (目录)
最新发布
jennycisp的博客
05-04 856
1.1 数据增强1.2 通过Encoder获取图片表征1.3 预测头1.4 相似图片输出更接近1.5 对下游任务Fine-tune。
这可能是最简单又有效的自监督学习方法了
夕小瑶科技说
03-24 1350
文 | 王珣@知乎本文已获作者授权，禁止二次转载从Kaiming的MoCo和Hinton组Chen Ting的SimCLR开始，自监督学习（SSL）成了计算机视觉的热潮显学。凡是大佬大组（...
2023/8/20周报 自监督学习
user_s1的博客
08-20 608
本周通过对自监督学习的一些案例进行学习从而了解了自监督学习的一些基础概念。自监督学习是无监督学习里面的一种，也被称作pretext task。自监督学习主要是利用辅助任务从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。找到合适的辅助任务（pretext）对于自监督学习是最需要解决的问题。与数据特点相比，辅助任务难一些有助于性能提升。数据和资源越多，自监督预训练的效果会更好（Bert）。
SS-SFDA-Self-Supervised-Source-Free-Domain-Adaptation-for-Road-Segmentation-in-Hazardous-Environme:论文“ SS SFDA”的代码库
04-12
title={SAfE: Self-Attention Based Unsupervised Road Safety Classification in Hazardous Environments}, author={Kothandaraman, Divya and Chandra, Rohan and Manocha, Dinesh}, journal={arXiv preprint ...
Self-supervised_Attention_Mechanism_for_Pediatric_Bone_Age_Assessment_with_Efficient_Weak_Annotation.pdf
07-18
标题中提到的“Self-supervised Attention Mechanism for Pediatric Bone Age Assessment with Efficient Weak Annotation”所涉及的知识点主要包括以下几个方面： 1. 自监督学习（Self-supervised Learning）：这...
Self-supervised-Fewshot-Medical-Image-Segmentation:[ECCV'20]具有超像素的自我监督
05-16
SSL_ALPNet [ECCV'20]像素的 摘要： 很少使用的语义分割（FSS）在医学成像应用中具有巨大的潜力。 现有的大多数FSS技术都需要大量的带注释的语义类进行训练。 但是，由于缺少注释，这些方法可能不适用于医学图像...
A Self-supervised Approach for Adversarial Robustness.pdf
10-19
A Self-supervised Approach for Adversarial Robustness 本文总结了A Self-supervised Approach for Adversarial Robustness论文的要点，该论文发表于CVPR会议，主要讨论了深度神经网络（Deep Neural Network，DNN...
EEG and Self-supervised Learning
03-22
标题 "EEG and Self-supervised Learning" 涉及到的是使用深度学习技术对脑电图（EEG）数据进行分析的研究领域。EEG是一种记录大脑电活动的技术，广泛应用于神经科学、医学诊断和生物信号处理。自我监督学习是机器...
Self-Supervised-Learning-for-Fine-grained:应用自我监督学习进行细粒度图像分类
04-02
细粒度的自我监督学习 此存储库具有与用于细粒度图像分类的自我监督学习相关的代码。 我使用了木薯植物病数据集
自监督学习（SSL）Self-Supervised Learning
luemeon的博客
06-16 9222
有监督和无监督最主要的区别在于模型在训练时是否需要人工标注的标签信息。自监督学习最主要的目的就是学习到更丰富的语义表征。评测自监督学习的能力，主要是通过 Pretrain-Fintune 的模式。监督的 Pretrain - Finetune 流程：1.从大量的有标签数据上进行训练，得到预训练的模型，2.对于新的下游任务（Downstream task），我们将学习到的参数（比如输出层之前的层的参数）进行迁移，在新的有标签任务上进行「微调」，从而得到一个能适应新任务的网络。自监督的 Pretrain - F
自监督学习self-supervised learning 概述
二十年蝉电子学习博客
11-22 4318
深度学习被分为：监督学习，无监督学习和自监督学习。监督学习近些年获得了巨大的成功，但是有如下的缺点：1.人工标签相对数据来说本身是稀疏的，蕴含的信息不如数据内容丰富；2.监督学习只能学到特定任务的知识，不是通用知识，一般难以直接迁移到其他任务中。无监督学习算法的结果可能不太准确,因为输入数据没有标记,并且算法事先不知道确切的输出。由于这些原因，自监督学习的发展被给予厚望。自监督学习（Self-Supervised Learning）是无监督学习里面的一种，也被称作(pretext task)
【深度学习】自监督学习详解（self-supervised learning）
热门推荐
Danger的博客
01-30 2万+
详解！自监督学习：对比学习和生成学习。
Self-supervised Multi-view Person Association and Its Applications
MasicMcsu的博客
12-19 466
参考文章：http://203.187.160.133:9011/www.cs.cmu.edu/c3pr90ntc0td/~ILIM/projects/IM/Association4Tracking/files/Self_supervised_Multiview_Person_Association_and_Its_Applications.pdf 【Abstract】 由于频繁的遮挡、剧烈的...
《 Self-supervised Sample Mining》笔记
qq_24548569的博客
11-03 1597
论文：《Human-Machine Cooperation: Self-supervised Sample Mining》 作者：王可泽 Motivation 在许多应用场景中，已标注的数据集不是很多，但是未标注或部分标注的数据集非常多。在监督学习任务中，足够多的标注数据对模型来说至关重要，因此使用未标注和部分标注的数据集的想法越来越重要。但是为未标注或部分标注的数据进行标注的成本很高，因为通常需...
Self-Supervised Learning for Stereo Matching with Self-Improving Ability
网瘾少年康复中心
12-07 3079
首先呢，这是一个非监督算法，因此它约束的方式就是左右一致性检测，用warp来处理左右图，详见3.1。作者声情并茂的讲述自己就是不要gt。。 网络结构 五部分组成 特征提取 交叉特征向量融合 3D特征匹配 soft-argmin 最后通过图像warp来做约束。 特征提取 有了特征提取，就可以不虚那些复杂区域啦。以往传统的方法相当于是取像素域的原始特征，而深度学习取得特征则是自己去学的
【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）
py今天刷题了吗
12-23 815
文章目录3_BERT的奇闻轶事Why does BERT work？To Learn MoreMulti-lingual BERT（多语言BERT）BERT有跨语言的功能？前提是资料量要够多才能train起来..，过了两天loss掉下去了BERT还有很多不被理解的，说明可以探究的空间很大4_GPT的野望20分钟就可以微调作业7了，但GPT实在太过巨大了，train一个epoch可能都有困难How to use GPT？Self-supervise Learning还有更多的领域应用，不止在翻译，还有CV你也
self-supervised
06-28
### 回答1： 自监督学习（self-supervised learning）是一种机器学习的方法，通过利用输入数据本身的特征来训练模型。在自监督学习中，模型使用未标记的数据作为训练数据，通过预测输入数据中的某些特定信息来学习特征表示。这种方法通常用于处理大规模未标记数据的场景，如图像、语音和自然语言处理等领域，以提高模型性能和泛化能力。 ### 回答2： ### 回答3： Self-supervised（自监督学习）是一种基于无监督学习的技术，其目的是从无标签的数据中自动学习特征，并最终提高模型的性能。 与传统的有监督学习（Supervised learning）不同，自监督学习不需要手动标注数据。相反，自监督学习使用数据本身来生成标签。具体来说，该方法使算法在没有显式标签的情况下，从数据中发现统计关系，并将其用于训练模型的目的。这种方式也被称为“无监督特征学习”（unsupervised feature learning）。 自监督学习可以应用于许多领域，包括自然语言处理、计算机视觉、语音识别等。例如，在计算机视觉领域，自监督学习可用于学习对象的位置、姿态和形状。在自然语言处理中，自监督学习可以用于语言模型的训练，使得模型能从没有标注文本中预测下一个词语。 自监督学习的主要优点在于它可以使用大量未标记的数据，这种方法可以大大减少数据标签的成本，同时也可以提高模型的性能。但是，自监督学习的一些挑战在于选择合适的自监督任务，以及如何确保生成的标签准确地描述数据本身。此外，自监督学习的性能也受到算法的选择和优化策略的影响。当前，许多大型科技公司如Facebook、Google和微软等都在积极研究自监督学习的方法以用于其各项业务中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值