AI视频编码器(3.2) 《Swin Transformer V2: Scaling Up Capacity and Resolution》

已于 2025-02-05 11:34:57 修改
阅读量854 收藏 14
点赞数 14
分类专栏： AI与ML 文章标签： transformer 深度学习 人工智能
于 2025-02-01 17:12:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/duoyasong5907/article/details/145413352
版权
最低0.47元/天 解锁文章
2022 计算机视觉顶会论文----目标检测
qq_52053775的博客
08-23 3935
1.Dual Cross-Attention Learning for Fine-Grained Visual Categorization and Object Re-Identification https://arxiv.org/abs/2205.02151用于细粒度视觉分类的双交叉注意学习物体重新识别 最近，自我注意机制在各种NLP和CV任务中表现出令人印象深刻的性能，这可以帮助捕获序列特征并导出全局信息在这项工作中，我们探索了如何扩展自关注模块，以便更好地学习用于识别细粒度对象
大杂烩00
qihshe的博客
10-22 493
1、论文的作者想要完成什么，或者已经完成了什么？2、如果一篇论文介绍了一种新方法/技术/方法，那么该新方法的关键要素是什么?3、论文中哪些内容对我有用?4、我还想关注哪些参考文献?
[Transformer] Swin Transformer V2: Scaling Up Capacity and Resolution
Cherry的笔记本
01-18 2784
论文： 代码： 1 Introduction 在Swin Transformer的基础上，提出了以下的改进措施： 1）post normalization technique and scaled cosine attention提升大型视觉模型的稳定性; 2）log-spaced continuous position bias 进行低分辨率预训练模型向高分辨率模型迁移。 3）implementation details 大幅节省GPU显存占用以使得大视觉模型训练变得可行。 ...
Swin Transformer V2: Scaling Up Capacity and Resolution
dawnyi_yang的博客
05-17 1315
摘要 在本文中，作者提出了将Swin Transformer缩放到30亿个参数的技术 ，并使其能够使用高达1536×1536分辨率的图像进行训练。通过扩大容量和分辨率，Swin Transformer在四个具有代表性的视觉基准上创造了新的记录：ImageNet-V2图像分类的84.0%top-1 准确度，COCO目标检测上的63.1/54.4box / mask mAP ，ADE20K语义分割的59.9 mIoU ，以及Kinetics-400视频动作分类的86.8%top-1 准确度。 论文地址：Swin
Swin Transformer V2 Scaling Up Capacity and Resolution（CVPR2022）
qihshe的博客
10-22 796
大规模NLP模型已被证明可以显著提高语言任务的性能，而不会出现饱和的迹象,他们还展示了像人类一样的惊人的few-shot能力.本论文旨在探索计算机视觉中的大规模模型。我们解决了大视觉模型训练和应用中的三个主要问题，包括训练不稳定性、预训练和微调之间的分辨率差距以及对标记数据的饥渴提出了三种主要技术1)残差-后范数法结合余弦注意提高训练稳定性;2)采用对数空间连续位置偏差方法，将低分辨率图像预训练的模型有效地转移到具有高分辨率输入的下游任务中3)一种自监督预训练方法SimMIM。
【论文阅读】Swin Transformer V2: Scaling Up Capacity and Resolution
一碗白开水一
03-08 4300
题目：Swin Transformer V2: Scaling Up Capacity and Resolution motivation:作者提出了将Swin Transformer缩放到30亿个参数的技术 ，并使其能够使用高达1536×1536分辨率的图像进行训练。作者要做大做强。 method: 首先，对大型视觉模型的实验揭示了训练中的不稳定性问题。 作者发现，在大型模型中，各层之间的激活幅度差异显著增大。仔细观察结构可以发现，这是由直接添加回主分支的残差单元的输出引起的。结果是激活值逐层累积，
论文精读:Swin Transformer V2: Scaling Up Capacity and Resolution
qq_52053775的博客
11-09 1591
论文地址:https://arxiv.org/pdf/2111.09883.pdf 代码地址: GitHub - microsoft/Swin-Transformer: This is an official implementation for "Swin Transformer: Hierarchical Vision Transformer using Shifted Windows". 本篇论文主要致力于解决大型视觉模型的训练和应用中的三个主要问题，包括训练的不稳定性、训练前和微调之间
MixMAE(MixMIM):用于分层视觉变压器有效预训练的混合和掩码自编码器 论文阅读
weixin_51657614的博客
03-24 1076
以自我监督的方式利用未标记的视觉数据来学习表征是有趣但具有挑战性的。继BERT[14]在自然语言处理中，预训练MIM在学习各种下游视觉任务的视觉表示方面取得了巨大成功[4,21,44,50,51]，包括图像分类[13]、目标检测[31]、语义分割[56]、视频分类[20]和运动控制[50]。
YoloV8改进策略：主干网络改进-使用Swin-TransformerV2替换Yolo的主干-即插即用
m0_47867638的博客
05-24 384
论文标题：Swin Transformer V2: Scaling Up Capacity and Resolution 论文链接：https://arxiv.org/pdf/2111.09883.pdf GitHub链接：https://github.com/microsoft/Swin-Transformer 大规模 NLP 模型已被证明可以显着提高语言任务的性能，并且没有饱和迹象。它们还展示了与人类一样的惊人的少发能力。本文旨在探索计算机视觉中的大规模模型。我们解决了大型视觉模型训练和应用中的三个主要
SwinV2论文解析：CVPR2022顶会｜扩展容量和分辨率，Swin Transformer V2: Scaling Up Capacity and Resolution
包括YOLOv5、YOLOv7、YOLOv8等模型改进
02-20 1241
SwinV2论文解析：CVPR2022顶会｜扩展容量和分辨率，Swin Transformer V2: Scaling Up Capacity and Resolution
论文阅读笔记——Swin Transformer V2
weixin_52143654的博客
10-08 569
Swin Transformer V2
屠榜各大CV任务！最强骨干网络：Swin Transformer V2来了
阿木寺的博客
11-22 4584
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自丨极市平台 作者丨happy导读针对SwinV1在更大模型方面存在的几点问题，Swin transforme...
Swin Transformer V2（CVPR 2022）论文与代码解读
00000cj的博客
06-13 6985
针对上述三个问题，本文提出了三种对应的解决方法： residual-post-norm and cosine attention：在模型架构中引入残差后规范化方法和余弦注意力机制，提高了大模型的训练稳定性和准确性。 log-spaced continuous position bias（Log-CPB）：这种新方法允许模型在不同窗口大小之间自由转移，解决了高低分辨率任务之间的迁移问题。 自监督预训练方法（SimMIM）：通过自监督学习减少对标注数据的需求，使得训练过程更加高效。
Swin Transformer V2！MSRA原班人马提出了30亿参数版本的Swin Transformer！
我爱计算机视觉
11-20 1359
关注公众号，发现CV技术之美【写在前面】在本文中，作者提出了将Swin Transformer缩放到30亿个参数的技术 ，并使其能够使用高达1536×1536分辨率的图像进行训练。通过扩大...
Swin Transformer V2
myh12138的博客
11-23 3729
Swin Transformer V2 论文链接：https://arxiv.org/pdf/2111.09833.pdf 代码链接：https://github.com/microsoft/Swin-Transformer 问题： 作者提出了将Swin Transformer缩放到30亿个参数的技术 ，并使其能够使用高达1536×1536分辨率的图像进行训练。在很多方面达到了SOTA。 目前，视觉模型尚未像NLP语言模型那样被广泛探索，部分原因是训练和应用中的以下差异: 1） 视觉模型通常在规模上面临不稳
【论文阅读】Swin transformer解读
毛毛的博客
07-16 4117
文章目录前言Abstract1. Introduction2. Related Work3. Method3.1 Overall Architecture3.2 Shifted Window based Self-Attention3.3 Architecture Variants4. 结果4.1 KITTI上的BEV目标检测5. 总结 前言 1. 为什么要做这个研究？ 2. 实验方法是什么样的？ 3. 得到了什么结果？ Abstract Swin Transformer可以作为计算机视觉的通用主干。将
Transformer-GRU、Transformer、CNN-GRU、GRU、CNN五模型时序预测对比
最新发布
机器学习之心的博客，关注并私信文章链接，获取对应文章源码和数据。
06-12 1130
Transformer-GRU、Transformer、CNN-GRU、GRU、CNN五模型时序预测对比
ChatGPT 辅助 PyTorch 开发：从数据预处理到 CNN 图像识别的全流程优化
2403_89974123的博客
06-09 872
在人工智能技术爆发的时代背景下，Python 凭借其简洁高效的特性成为机器学习与深度学习的核心工具，而大语言模型（如 ChatGPT、DeepSeek）的兴起则为 AI 开发注入了新动能。本次培训聚焦 “大语言模型 + Python + 深度学习” 的全栈技术体系，系统讲解从数据预处理、模型开发到前沿算法实践的全流程。通过 ChatGPT 辅助代码生成、调试及论文撰写，结合 PyTorch 框架实现经典机器学习算法（决策树、随机森林）与深度学习模型（CNN、RNN、GAN、YOLO），学员将掌握如何利用大语
山东大学深度学习2025年期末考试
c335000的博客
06-05 669
1.反向传播2.激活函数3.梯度裁剪4.数据增强5.迁移学习6.过拟合7.word2Vec8.注意力机制。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值