课程九学习笔记: 自监督ViT算法：BeiT和MAE

最新推荐文章于 2025-01-08 07:30:00 发布
最新推荐文章于 2025-01-08 07:30:00 发布
阅读量1.3k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 从零开始学视觉Transformer学习笔记-已完结 文章标签： transformer 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_37486501/article/details/121763882
该博客探讨了Self-Supervised Learning (SSL)在自然语言处理中的应用，并介绍了BERT的训练目标。接着，文章引入了将自监督学习应用于图像任务的BEiT模型，以及Masked Autoencoders for Scalable Vision Learning (MAE)的工作原理，包括预训练和下游任务的训练策略。此外，还讨论了在实践中如何管理和配置实验参数。

课程九学习笔记: 自监督ViT算法：BeiT和MAE


自监督+ Transformer

1. SSL在NLP中的应用：

  1. Self-Supervised Learning (SSL)：通过自己“监督”自己的方式学习通用特征表达，用来作为下游任务的预训练或者backbone。（自监督学习SSL：假装看不到输入的某一部分 ，然后学习怎么去预测它！）
  2. Bidirectional Encoder Representations from Transformers ：(BERT)
    （1）Transformer的Encoder
    （2）Self-Supervised Learning ( SSL )
    请添加图片描述
    请添加图片描述

2. Bert

Bert：学习通用的表征。
Bert训练目标：
1.Masked Token Prediction + Next sentence prediction ( joint training )

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【图像去噪】论文精读：TTT-MIM: Test-Time Training with Masked Image Modeling for Denoising Distribution Shifts
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
04-05 381
论文题目：TTT-MIM: Test-Time Training with Masked Image Modeling for Denoising Distribution Shifts —— TTT-MIM:带掩模图像建模的测试时间训练去噪分布偏移ECCV 2024！端到端训练的神经网络为图像去噪提供了最先进的性能。然而，当应用于训练分布之外的图像时，性能通常会显着下降。在这项工作中，我们提出了一种基于掩模图像建模(MIM)的测试时间训练(TTT)方法来提高分布外图像的去噪性能。该方法称为。
百度Paddle免费课程——从零开始学视觉Transformer（自己免费分享听课笔记，百度网盘链接哦）
Wangzx的博客
12-07 2520
！！！无需订阅专栏哦，自己总结的课程学习笔记的百度网盘链接：链接: https://pan.baidu.com/s/1Z9w9biipueLF1J-yg0rN6g 提取码: 4h44（十一次课的学习笔记，写在了这个专栏里。因为我直接用优快云直接写的，后期有时间稍微空闲的时候，才导出的word和pdf格式。）
自监督表征预训练之掩码图像建模
weixin_44966641的博客
02-20 4913
自监督表征预训练之掩码图像建模
【自监督学习算法】
weixin_44502754的博客
03-14 1232
自监督学习 （SSL）是一种不断发展的机器学习技术，旨在解决过度依赖标记数据带来的挑战。多年来，使用机器学习方法构建智能系统在很大程度上依赖于高质量的标记数据。因此，高质量注释数据的成本是整个训练过程中的主要瓶颈。人工智能研究人员的首要任务之一是利用非结构化数据开发自学习机制，以低成本扩展通用人工智能系统的研发。实际上，不可能收集和标记各种不同的数据。为了解决这个问题，研究人员正在研究能够捕捉数据中细微差别的自监督学习（SSL）技术。
从零开始学视觉Transformer （9）：自监督ViT算法：BeiT和MAE
10点43的博客
12-22 1625
Vision Transformer打卡营
学习笔记【自监督VIT】
hei_hei_hei_的博客
07-11 819
学习笔记【自监督VIT】
自监督学习 (Self-Supervised Learning) 算法详解与PyTorch
最新发布
qq_42568323的博客
01-08 1699
自监督学习（Self-Supervised Learning）是一种无监督学习方法，通过从数据本身生成标签来训练模型。自监督学习的核心思想是利用数据的内在结构，设计预训练任务，使模型能够学习到有用的特征表示。自监督学习广泛应用于图像、文本、语音等领域。CIFAR-10数据集是一个经典的图像分类数据集，包含60000个32x32彩色图像，分为10个类别，每个类别有6000个图像。目标是识别图像中的物体类别。
目前最好的自我监督学习算法
roxxo的博客
03-28 502
Contrastive Learning的主要思路是将原始数据分为两个样本集，然后通过最小化同一集合内的样本距离，最大化不同集合内的样本距离从而学习模型。自我监督学习是通过利用数据本身的内在结构和关系从而学习有用的表征方式。在计算机视觉领域，contrastive learning使用了学习两个视图，并且尝试最小化两个视图之间的距离、最大化同一视图之间的距离。当前最好的自我监督学习算法是「自监督对抗性训练」（Contrastive Learning），它已经在计算机视觉和自然语言处理领域获得了很好的效果。
（论文阅读笔记）Data2vec: A General Framework for Self-supervised Learning in Speech, Vision and Language
weixin_44876302的博客
01-23 4898
(论文阅读笔记：语音、视觉和语言自我监督学习的一般框架，MetaAI
【论文笔记】data2vec: A General Framework for Self-supervised Learning in Speech,Vision and Language
m0_58678659的博客
03-01 1002
论文标题：data2vec: A General Framework for Self-supervised Learning in Speech,Vision and Language 论文地址：https://arxiv.org/abs/2202.03555 论文代码：https://github.com/pytorch/fairseq/tree/main/examples/data2vec 发表时间： 2022年2月 针对三种模态Images、Speech、Language，都进行Tra..
ViT——探索自监督视觉Transformers在深度伪造检测中的应用
知来者逆的博客
08-15 1183
在这篇评论文章中，提出了两种使用 SSL 预训练 ViT（特别是 DINO）作为特征提取器进行深度假货检测的方法。第一种方法是使用冻结的 ViT 骨干来提取多层次特征。第二种方法则涉及对最终的 k 个块进行部分微调。 通过多次实验发现，微调方法显示出卓越的性能和可解释性。本研究的结果为数字取证界在深度伪造检测中使用 SSL 预训练 ViT 作为特征提取器提供了宝贵的见解。
自监督学习(Self-supervised Learning)的深刻理解
博客
07-09 8489
参考资料 [1] 本文主要参考资料来自https://zhuanlan.zhihu.com/p/125721565
（2024，自监督 ViT，全监督 ViT，损失可视化，MAE，RC-MAE，自蒸馏，EMA）可视化自监督 ViT 的损失景观
qq_44681809的博客
06-09 1406
与基于分类任务的损失景观可视化不同，本文通过计算预训练任务损失来可视化 ViT 的损失景观，观察到自监督 ViT 比完全监督 ViT 具有更平滑和更宽的整体损失曲率，且自蒸馏架构（即 EMA 教师）有助于扩展凸区域，加速收敛速度。
自监督学习（SSL）Self-Supervised Learning
luemeon的博客
06-16 9575
有监督和无监督最主要的区别在于模型在训练时是否需要人工标注的标签信息。自监督学习最主要的目的就是学习到更丰富的语义表征。评测自监督学习的能力，主要是通过 Pretrain-Fintune 的模式。监督的 Pretrain - Finetune 流程：1.从大量的有标签数据上进行训练，得到预训练的模型，2.对于新的下游任务（Downstream task），我们将学习到的参数（比如输出层之前的层的参数）进行迁移，在新的有标签任务上进行「微调」，从而得到一个能适应新任务的网络。自监督的 Pretrain - F
自监督学习
NYX_UNI的博客
10-17 6586
本文通过整理自监督学习的一系列工作，把主流方法分成三大类，方便大家更全面的了解自监督学习的定义、方法、用途。
【深度学习】自监督学习详解（self-supervised learning）
热门推荐
Danger的博客
01-30 2万+
详解！自监督学习：对比学习和生成学习。
2023/8/20周报 自监督学习
user_s1的博客
08-20 762
本周通过对自监督学习的一些案例进行学习从而了解了自监督学习的一些基础概念。自监督学习是无监督学习里面的一种，也被称作pretext task。自监督学习主要是利用辅助任务从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。找到合适的辅助任务（pretext）对于自监督学习是最需要解决的问题。与数据特点相比，辅助任务难一些有助于性能提升。数据和资源越多，自监督预训练的效果会更好（Bert）。
（DINO） Emerging Properties in Self-Supervised Vision Transformers——自监督ViT的新属性和几点思考
MengYa_Dream的博客
10-17 4646
（DINO） Emerging Properties in Self-Supervised Vision Transformers——自监督ViT的新属性 Self-distillation with no labels 、student-teacher network 概念、知识蒸馏
Vision Transformer (ViT) 算法详解
m0_51661400的博客
08-20 3120
本博客详细探讨了Vision Transformer (ViT)，一种革命性的模型，将Transformer架构应用于图像处理。ViT通过将图像切割成序列化的小块，利用自注意力机制直接捕捉全局依赖关系，与传统的卷积神经网络相比，提供了更高效的处理方式和更深入的数据理解。除了介绍ViT的算法原理和数学表达，本文还提供了模型的简单PyTorch实现和源代码链接，帮助读者从理论到实践深入了解并应用这一技术。
2025最新机器学习笔记：核心算法与深度学习实战
特别是针对Transformer及其衍生模型（如BERT、ViT），笔记结合2025年最新的研究成果，探讨了自注意力机制的工作原理、预训练—微调范式的优势，以及大模型时代下的少样本学习与迁移学习策略。使用PyTorch实现这些...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laura_Wangzx

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值