20亿参数,大型视觉Transformer来了,刷新ImageNet Top1

CNN与Transformer在计算机视觉中的协同演进 卷积神经网络(CNN)和视觉Transformer(ViT)是现代计算机视觉的两大核心范式。CNN凭借平移等变性、局部连接与参数共享,具备强归纳偏置与硬件友好性;Transformer则通过自注意力机制实现动态全局关系建模,擅长长程依赖与语义理解。二者并非替代关系,而是在算力约束、数据规模、任务粒度与部署生态等现实条件下形成互补。混合架构(如CNN+CBAM、Swin、MobileViT)已成为工业落地主流,其技术价值在于平衡精度、延迟与功耗。典型应用场景涵盖移动端实时检测、小样本医疗分割、高分辨率遥感分析 阅读详情


  磐创AI分享  

来源 | 机器之心

编辑 | 杜伟、陈萍

2020 年 10 月,谷歌大脑团队提出将标准 Transformer 应用于图像,提出了视觉 Transformer(ViT)模型,并在多个图像识别基准上实现了接近甚至优于当时 SOTA 方法的性能。近日,原 ViT 团队的几位成员又尝试将 ViT 模型进行扩展,使用到了包含 30 亿图像的 JFT-3B 数据集,并提出了参数量高达 20 亿参数的 ViT 变体模型 ViT G/14,在 ImageNet 图像数据集上实现了新的 SOTA Top-1 准确率。

基于注意力机制的 Transformer 架构已经席卷了 CV 领域,并成为研究和实践中日益流行的选择。此前,Transformer 被广泛用于 NLP 领域。有研究者仔细研究了自然语言处理中 Transformer 最优扩展,主要结论是大型模型不仅性能更好,而且更有效地使用了大量计算预算。

然而,目前尚不清楚这些发现在多大程度上能够迁移到视觉领域。例如,视觉中最成功的预训练方案是有监督的,而 NLP 领域是无监督预训练。

在今天介绍的这篇论文中,原 ViT 团队成员、谷歌大脑的几位研究者集中研究了预训练 ViT 模型用于图像分类任务的迁移性能的扩展规则(scaling law)。特别是,研究者试验了从 500 万到 20 亿个参数不等的模型、从 3000 万到 30 亿个训练图像不等的数据集以及从低于 1 个 TPUv3 核每天(core-day)到超过 10000 个核每天的计算预算。其主要贡献是描述 ViT 模型的性能计算边界。

论文链接:https://arxiv.org/pdf/2106.04560.pdf

在这个过程中,研究者创建了一个改进的大规模训练方案,探索了训练超参数以及发现微妙的选择,大幅改善小样本迁移性能。具体来说,研究者发现非常强的 L2 正则化,仅应用于最终的线性预测层,导致学习到的视觉表征具有很强的小样本学习能力。

例如,在 ImageNet 数据集(有 1000 个类)上,每个类只有一个示例,该研究的最佳模型达到 69.52% 的准确率;如果每个类有 10 个示例,准确率达到了 84.86%。此外,该研究大大减少了 [11] 中提出的原始 ViT 模型的内存占用,通过特定于硬件的体系架构更改和不同的优化器来实现这一点。结果表明,该研究训练了一个具有 20 亿个参数的模型,在 ImageNet 数据集上达到了新的 SOTA 性能 90.45% 的准确率。可以看到,在 SOTA 基准排行榜上,ViT-G/14 模型的 Top-1 准确率已经超越了谷歌之前提出的 Meta Pseduo Labels 模型。

如何做到的?

研究者展示了对 ViT 模型及训练的改进,这些改进大多数易于实现,并显著提升了内存使用率和模型质量。如此一来,研究者可以单独使用数据并行化训练 Vit-G/14 模型,并在单个 TPUv3 上实现整个模型拟合。

扩展数据

该研究使用专有的 JFT-3B 数据集,它是 JFT-300M 数据集的更大规模版本,在之前的许多大型计算机视觉模型工作中使用过 [31, 18, 11]。该数据集由近 30 亿张图像组成,标注为包含 30k 类别的层级类别,并且由于采用半自动标注,所以标注是有噪音的。所有的测试数据也均从 JFT-3B 中移除。

下图 5 展示了数据集从 JFT-300M 到 JFT-3B 过程中对模型性能的影响。可以观察到,更大规模的 JFT-3B 数据集可以得到更好的模型,所以 JFT-300M 数据集的过拟合并不是实现性能提升的唯一原因。

「head」 的解耦权重衰减

权重衰减对低数据情况下的模型自适应具有重大影响。研究者在中等规模程度上研究了这一现象,并发现可以从模型中最终线性层(「head」)和剩余权重(「body」)的权重衰减强度解耦中获益。

下图 4 展示了这一效果。研究者在 JFT-300M 上训练了一个 ViT-B/32 模型,每个单元格对应不同 head/body 权重衰减值的性能。他们观察到的有趣的一点是:尽管提升了迁移性能,但 head 中高权重衰减却降低了预训练(上游)任务的性能。

通过移除 [class] token 节省内存 

对于 ViT 模型,当前的 TPU 硬件将 toek 维数填充为 128 的倍数,这可能导致高度 50% 的内存开销。为了解决这一问题,研究者尝试探索「使用额外[class] token」的替代方法。具体地,他们对全局平均池化( GAP)和多头注意力池化(MAP)进行评估以聚合来自所有 patch token 的表示,并将 MAP 中 head 的数量与模型其他部分中注意力 head 的数量设为相同。为了进一步简化 head 设计,研究者原始 ViT 论文中出现的、最终预测层之前的最终非线性映射。

为了选择最佳 head,研究者对[class] token 和 GAP/MAP head 进行了并排比较,结果如上图 4(右)所示。他们发现,所有 head 的表现类似,同时 GAP 和 MAP 由于进行了填充(padding)考虑,因而具备更高的内存效率。此外,非线性映射还可以安全地进行移除。因此,研究者选择了 MAP head,这是因为其表现力最强,并且能够生成最统一的架构。

模型尺寸

在本文中,研究者选择了 ViT 模型,模型参数从 500 万到 2 亿,训练数据量从 3000 万到 30 亿。下表 2 为具体的模型架构细节:

实验结果

在接下来的实验中,研究者在多达 30 亿个弱标记图像上训练了几个 ViT 模型。研究者改变架构大小、训练图像的数量和训练持续时间。所有模型都在 TPUv3 上训练,因此总计算量是以 TPUv3 核每天(core-days)数来衡量的。

为了评估由模型学习的表征的质量,研究者进行了一下测量(i)通过在固定权值上训练线性分类器来进行小样本迁移;(ii)通过对所有数据的整个模型进行微调,将其传递给多个基准测试任务。

将计算、模型和数据一起扩展

图 1 显示了在 ImageNet 上的 10-shot 线性评估和微调评估,并进行了高层级的观测。首先,将计算、模型和数据一起扩展可以提高表征质量。第二,模型尺寸会影响表征质量。第三,大型模型受益于额外的数据,甚至超过 1B 图像。

图 2 显示了在预训练期间「可见」的图像总数(批大小乘以 step 数)的表征质量。除了在公共验证集上进行 ImageNet 微调和线性 10-shot 结果外,研究者还报告了在 ImageNet-v2 测试集 [27] 上的 ImageNet 微调模型的结果,作为鲁棒泛化的指标。下图中展示了对 30 亿张图像进行预训练的三个 ViT 模型。

实验可得,有足够的数据,以较少的步骤训练一个更大的模型是可取的。

ViT-G/14 结果

该研究训练了一个大型的视觉 Transformer,ViT-G/14,它包含近 20 亿个参数。实验评估了 ViT-G/14 模型在一系列下游任务中的应用,并将其与 SOTA 结果进行了比较。研究者在 ImaegNet 上进行微调,并报告 ImageNet[28]、ImageNet-v2[27]、ReaL[3]和 ObjectNet[1]的准确率。此外,该研究还报告了在 VTAB-1k 基准上的迁移学习效果,该基准包括 19 个不同的任务[43]。

图 3 显示了在 ImageNet 上进行小样本学习(few-shot learning)结果。由结果可得,ViT-G/14 比以前最好的 ViT-H/14 模型 [11] 表现优异(超过 5%),达到 84.86% 的准确率,每类 10 个例子。

下表 1 展示了其他基准上的结果。ViT-G/14 在 ImageNet 数据集上实现了 90.45%  的 Top-1 准确率,成为新的 SOTA。此外,在 ImageNet-v2 上,ViT-G/14 比基于 EfficientNet-L2 的 Noisy Student 模型提升了 3%。在 ReaL 数据集上,ViT-G/14 略微优于 ViT-H 和 BiT-L,再次表明 ImageNet 分类任务性能可能达到了饱和点。在 ObjectNet 数据集上,ViT-G/14 大幅度优于 BiT-L,较 Noisy Student 模型提升 2%,比 CLIP 落后约 2%。

为什么Mamba+Transformer是CV新宠?拆解MambaVision的混合架构设计 本文深入解析了MambaVision混合架构如何结合Mamba和Transformer的优势,成为计算机视觉领域的新宠。通过分层整合CNN、Mamba和Transformer,MambaVision在ImageNet-1K上实现了84.2%的Top-1准确率和3670 img/s的高吞吐量,展现了其在精度与效率上的卓越平衡。 阅读详情

相关推荐

为什么Mamba+Transformer是CV的未来?从MambaVision的设计看视觉骨干网络进化

本文探讨了Mamba与Transformer混合架构如何成为计算机视觉的未来。通过分析CVPR 2025上提出的MambaVision模型,文章揭示了其分层设计哲学:在早期阶段利用CNN和Mamba高效提取局部特征,在后期引入Transformer整合全局上下文。这种混合策略在ImageNet分类及下游检测、分割任务中,实现了精度与速度的帕累托最优,为视觉骨干网络进化指明了新方向。

weixin_29094979的博客 207

20亿参数,大型视觉Transformer来了,刷新ImageNet Top1,All you need is money!

视学算法报道转载自:机器之心编辑:杜伟、陈萍2020 年 10 月,谷歌大脑团队提出将标准 Transformer 应用于图像,提出了视觉 Transformer(ViT)模型,并在多个图...

zandaoguang的博客 540

告别ViT的二次方噩梦:Swin Transformer的滑动窗口如何用线性复杂度横扫CV三巨头任务

本文深入解析了Swin Transformer如何通过滑动窗口机制实现线性计算复杂度,有效解决传统ViT在高分辨率视觉任务中的二次方计算瓶颈。详细介绍了其分层窗口注意力设计、窗口位移策略及在COCO目标检测等CV三巨头任务中的卓越表现,为工业部署提供内存优化和混合精度训练等实用方案。

weixin_30376509的博客 326

【计算机视觉 | ViT-G】谷歌大脑提出 ViT-G:缩放视觉 Transformer,高达 90.45% 准确率

【计算机视觉 | ViT-G】谷歌大脑提出 ViT-G:缩放视觉 Transformer,高达 90.45% 准确率

wzk4869的博客 3686

最强Transformer发布!谷歌大脑提出ViT-G:缩放视觉Transformer,高达90.45%准确率!

Scaling Vision Transformers 论文:https://arxiv.org/abs/2106.04560 本文改进了ViT的架构和训练,减少了内存消耗并提高了模型的准确性!最终成功训练了一个具有20亿参数的ViT模型:ViT-G,在ImageNet上达到了90.45%的Top-1准确率。作者单位:谷歌大脑(苏黎世),有原ViT一作和二作 1简介 视觉Transformer(ViT)等基于注意力的神经网络最近在许多计算机视觉基准测试中取得了最先进的结果。比例是获得出色结果的主

jacke121的专栏 5772

保姆级教程:用Kalibr搞定Intel D435i三目(RGB+双目)相机联合标定,附完整ROSbag录制避坑指南

本文详细介绍了如何使用Kalibr工具对Intel D435i三目相机(RGB+双目)进行高精度联合标定,包括硬件准备、ROSbag录制技巧、Kalibr标定实战及结果验证。特别针对实际工程中的常见问题提供了解决方案,帮助开发者提升SLAM和三维重建等应用的精度。

weixin_42524762的博客 408

【计算机视觉】DINOv2(视觉大模型)代码四个不同模型的对比,以 28 * 28 的图像为例(完整的源代码)

【计算机视觉】DINOv2(视觉大模型)代码四个不同模型的对比,以 28 * 28 的图像为例(完整的源代码)

wzk4869的博客 4700

超详细 | 贝叶斯网络基础——有图有真相

Hello,大家好,我是starz。这是本系列的第二篇《概率基础Ⅱ》,虽说是概率基础,但作为过渡,它开始以图为载体 这节的主要内容有: 贝叶斯网络 三种结构 D-划分 贝叶斯球 马尔科夫毯 应用例子 总结 让我们开始吧 :3 贝叶斯网络 概率图模型可笼统分为两类,一是基于无向图的马尔科夫网络: 二是基于有向图的贝叶斯...

qq_41603411的博客 2万+

【计算机视觉 | SOTA模型】整理了197个经典SOTA模型,涵盖图像分类、目标检测等方向

【计算机视觉 | SOTA模型】整理了197个经典SOTA模型,涵盖图像分类、目标检测等方向

wzk4869的博客 4018

Qt跨平台CAN通信实战:Vector、PCAN与周立功设备统一接口设计

本文针对Qt开发中常见的多品牌CAN设备兼容难题,提出了一套统一的跨平台CAN通信接口设计方案。通过抽象层封装,实现了对Vector、PCAN和周立功设备的统一操作,上层业务代码无需修改即可在不同硬件间切换,有效解决了驱动API差异、环境配置复杂和维护成本高等痛点,显著提升了代码复用率和开发效率。

weixin_29161785的博客 334

Ubuntu 上 1Panel 的安装与高效运维实践

本文详细介绍了在Ubuntu系统上安装和高效运维1Panel面板的完整实践指南。内容涵盖了一键安装、Docker容器可视化部署、计划任务自动化以及网站数据库管理等核心功能,并提供了安全加固、资源监控与数据备份等进阶技巧,旨在帮助用户快速搭建并管理一个强大易用的服务器环境。

weixin_29210759的博客 145

Swin Transformer:革命性分层视觉Transformer架构深度解析

Swin Transformer(Shifted Window Transformer)是一种创新的分层视觉Transformer架构,通过引入移位窗口机制实现了高效的自注意力计算,为计算机视觉任务提供了强大的通用骨干网络。它在目标检测、语义分割等多个视觉任务上实现了性能突破,同时保持了计算效率,是近年来计算机视觉领域的重要技术革新。 ## 核心技术创新:移位窗口与分层结构 Swin Tran

gitblog_00305的博客 854

【Matlab深度学习】GPU加速实战:从环境配置到性能优化

本文详细介绍了如何在Matlab中为深度学习任务配置GPU加速环境并进行性能优化。文章从GPU加速的必要性讲起,手把手指导安装NVIDIA驱动、CUDA和cuDNN核心三件套,并验证环境。重点讲解了如何利用gpuArray将数据和模型迁移至GPU,以及通过内存优化、计算优化和多GPU并行等策略充分释放GPU算力,大幅缩短深度学习模型的训练时间。

weixin_29061465的博客 492

ConvNeXt实战:如何用纯卷积网络在ImageNet上超越Swin Transformer?

本文深入解析了ConvNeXt如何通过一系列现代化设计,让纯卷积网络在ImageNet图像分类任务上超越Swin Transformer。文章详细阐述了其核心改进点,包括宏观架构调整、深度可分离卷积与反向瓶颈设计,并提供了完整的PyTorch实现代码与关键训练技巧。ConvNeXt证明了经过精心设计的卷积网络在精度和效率上依然具备强大的竞争力。

salt9的博客 806

【原创教程】西门子1500与施耐德伺服的通讯以及调试

该函数块主要描述伺服的手动,左边的引脚Forward是指伺服手动正转,Backward是指伺服手动反转,Fast是指手动的某个方向为快速运行,TipPos手册上描述为固定值,WaitTIme是指伺服手动的相应时间,VeloSlow指伺服手动正常慢速运动的速度,VeloFast指伺服手动快速运动的速度,Acceleration是指伺服手动的加速度,Decelertion是指伺服手动的减速度。该函数块用于伺服停止,左边的引脚Execute为伺服停止执行,Deceleration含义为减速,Axis为轴。

Qinmingyue13的博客 1377

uniapp [全端兼容] - 实现连接蓝牙电子秤+监听数据转换并实时返回示例代码,uniApp实现BLE蓝牙连接多个电子秤设备、蓝牙通讯协议对接详细教程(全平台兼容H5、微信小程序、苹果安卓App)

uniapp连接蓝牙电子秤,uniapp如何连接电子秤蓝牙,蓝牙称重,实现监听数据转换并实时返回,多蓝牙,uni-app电子秤16进制蓝牙通讯协议对接,uniapp微信小程序蓝牙获取电子秤的值,uniapp蓝牙称重电子秤,蓝牙电子秤硬件,APP端连接蓝牙秤获取重量实时显示在页面上蓝牙秤,插件组件,蓝牙连接失败,uniapp安卓苹果ios连接蓝牙电子秤没反应,uniapp微信小程序 蓝牙低功耗连接发送数据监听接收,uni-app小程序蓝牙连接、读写数据全过程,uniapp连接蓝牙体脂秤,蓝牙搜索不到怎么办,如

🏆 前端领域优质创作者 1万+

MindSpore-Lab/swintransformerv2完全指南:从模型架构到ImageNet-1K实战

Swin Transformer V2是一款基于MindSpore框架的先进视觉模型,通过创新技术解决了大型视觉模型训练中的稳定性、分辨率差距和数据依赖三大核心问题,为图像分类、目标检测等任务提供了高效解决方案。 ## Swin Transformer V2核心技术解析 🚀 ### 1. 训练稳定性增强:残差后归一化与余弦注意力 Swin Transformer V2采用**残差后归一化(R

gitblog_00398的博客 316

29、网络支持技术:CDN、覆盖网络与无标度网络解析

本文详细解析了CDN路由方式与性能指标,探讨了覆盖网络与无标度网络的特性及其在云计算和现代网络中的应用。文章分析了CDN的关键技术与挑战,介绍了覆盖网络与小世界网络的基本原理,并深入讨论了无标度网络的构建算法、性能优化策略以及在多个领域的应用案例。最后,文章展望了未来网络技术发展趋势与无标度网络的结合潜力。

night的博客 93

从ImageNet里程碑看计算机视觉算法演进:架构融合与训练革新

计算机视觉的核心任务是让机器像人一样理解和分析图像。其基本原理是通过神经网络从像素数据中提取特征并进行分类或检测。随着深度学习的发展,视觉模型的设计范式经历了显著演变,从早期的卷积神经网络(CNN)到引入全局建模能力的Transformer架构,技术价值在于不断提升模型对图像语义的理解精度与效率。在实际应用中,高效的视觉算法是工业检测、自动驾驶、内容推荐等场景的关键驱动力。本文聚焦于近期ImageNet竞赛的突破性进展,探讨了以Vision Transformer和自监督学习为代表的技术如何通过架构融合与训

weixin_30765505的博客 484

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

从分类到检测:CSWin Transformer如何助力Mask R-CNN在COCO目标检测中刷出SOTA(结果全解读)

CSWin Transformer 是一个通用的视觉 Transformer 骨干网络(CVPR 2022),它用**十字形窗口自注意力(Cross-Shaped Window Self-Attention)**取代了传统的全局注意力,以有限的计算代价实现了全局感受野。本文将完整解读它在 ImageNet 分类、COCO 目标检测(Mask R-CNN / Cascade Mask R-CNN)上

gitblog_00688的博客 300

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

颜水成团队开源VOLO:无需额外数据,首次在ImageNet上达到87.1%的精度

丰色 发自 凹非寺量子位 报道 | 公众号 QbitAI自打Transformer横空出世以来,它在CV领域就取得了很多不俗的效果。比如采用纯Transformer架构的ViT在很多图像分...

量子位 570

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

Swin Transformer V2详解:革命性视觉模型如何突破三大技术瓶颈?

在当今计算机视觉领域,**Swin Transformer V2** 作为微软亚洲研究院推出的重磅级视觉Transformer模型,正引领着大规模视觉模型的发展方向。这款基于MindSpore框架实现的**Swin Transformer V2**模型,通过创新的架构设计成功解决了训练大规模视觉模型时的三大核心挑战,为图像识别、目标检测和语义分割等任务带来了革命性的性能提升。 ## 🚀 Swi

gitblog_00186的博客 239
上一篇: 吃透空洞卷积
下一篇: 王思聪语录:CV版
机器学习算法那些事
博客等级 码龄9年 1633粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值