A ConvNet for the 2020s

原创 已于 2025-06-28 14:48:36 修改 · 551 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

于 2024-01-31 18:40:07 首次发布
论文《A ConvNet for the 2020s》于CVPR2022发表，作者来自Meta和UC Berkeley。该研究仿照swin - T思想重新设计ResNet结构，使其逼近并超过swin - T。介绍了网络结构、数据集，进行了宏观和微观设计，还在ImageNet1k和coco上做了实验，后续convnextv2引入mim监督方式。

前言

 论文名称：A ConvNet for the 2020s
 发表时间：CVPR2022
 code链接： 代码
 作者及组织： Zhuang Liu，Hanzi Mao来自Meta和UC Berkeley。

 一句话总结：仿照swin-T思想，重新设计ResNet结构，使其逼近并超过swin-T。

1、RoadMap

 网络结构：r50和swin-tiny：二者Flops相近约4.5G；
 数据集：ImageNet1K

1.1.Macro Design

 这部分包含的实验比较散，我列了个表格：

序号 改进策略 具体改动 性能 GFlops
v0 原始的r50 - 76.1 4.1
v1 对齐训练方式 -
最低0.47元/天 解锁文章
武乐乐~
关注
【论文简述及翻译】A ConvNet for the 2020s(CVPR 2022)
qq_43307074的博客
10-14 6740
【论文简述及翻译】A ConvNet for the 2020s
ConvNeXt：A ConvNet for the 2020s
椰子奶糖的博客
02-12 2091
ConvNeXt 文章目录ConvNeXt参考简记具体改进Training TechniquesMacro DesignChanging stage compute ratioChanging stem to "Patchify"ResNeXt-ifyInverted BottleneckLarge Kernel SizesMoving up depthwise conv layerIncreasing the kernel sizeMicro DesignReplacing ReLU with GELUF
【论文泛读】ConvNeXt：A ConvNet for the 2020s（新时代的卷积）
风信子的猫Redamancy的快乐星球
01-07 3249
在新时代中，是否卷积神经网络就已经被时代淘汰了呢！FaceBook研究所的“A ConvNet for the 2020s”，即ConvNeXt 这篇文章，通过借鉴 Swin Transformer 精心构建的 tricks，卷积在图像领域反超 Transform。这些技巧对分类问题下游downstream的问题也有效果。简单的来说，似乎就是说明，用Swin Transformer的丹方，在卷积神经网络中炼丹也有很好的效果。
论文分享 A ConvNet for the 2020s
Klay Ye
05-24 1167
视觉识别的“咆哮的 20 年代”始于 Vision Transformers (ViTs) 的引入，它迅速取代了 ConvNets，成为最先进的图像分类模型。另一方面，vanilla ViT 在应用于对象检测和语义分割等一般计算机视觉任务时面临困难。正是层次化的 Transformers（例如 Swin Transformers）重新引入了几个 ConvNet 先验，使得 Transformers 作为通用视觉骨干实际上可行，并在各种视觉任务上展示了卓越的性能。
Review — ConvNeXt_ A ConvNet for the 2020s _ by Sik-Ho Tsang _ Jun, 2022 _ Medium
06-08
Review — ConvNeXt_ A ConvNet for the 2020s _ by Sik-Ho Tsang _ Jun, 2022 _ Medium
A ConvNet for the 2020s（2022 CVPR）
朴实无华的研究生活
02-06 1387
本文介绍了一种名为ConvNeXt的纯卷积神经网络模型，该模型通过逐步改进标准ResNet架构，实现了与层级Transformer模型（如Swin Transformer）相当的性能。研究者通过调整网络设计、训练技术和模块配置，使ConvNeXt在图像分类、目标检测和语义分割等多个视觉识别任务上表现出色，甚至优于Swin Transformer。ConvNeXt模型不仅保持了传统卷积网络的简洁性和高效性，还在大规模预训练数据下展现了良好的扩展性和鲁棒性。
A ConvNet for the 2020s精度
weixin_49053303的博客
12-28 674
在“视觉识别的咆哮20年代”以Vision Transformers（ViTs）的引入为开端，ViTs迅速取代了ConvNets成为最先进的图像分类模型。然而，普通的ViT在应用于对象检测和语义分割等一般计算机视觉任务时会遇到困难。而层次化的Transformers（例如Swin Transformers）重新引入了几个ConvNet先验条件，使得Transformers在作为通用视觉骨干的同时在各种视觉任务上展现出卓越的性能。
[ConvNeXt] A ConvNet for the 2020s
Cherry的笔记本
01-17 1987
《A ConvNet for the 2020s》 Facebook AI Research（FAIR） 论文链接： https://arxiv.org/pdf/2201.03545.pdf 代码链接： GitHub - facebookresearch/ConvNeXt: Code release for ConvNeXt model 1 Introduction ViT迅速成为主流的研究方向，然而，当应用于广义CV任务(如目标检测、语义分割)时，常规的ViT面临着极大挑战。因此，分层...
[论文阅读]A ConvNet for the 2020s
qq_41776136的博客
09-18 779
视觉识别的咆哮的20年代开始于ViTs的引入，它很快取代了卷积神经网络，成为最先进的图像分类模型。另一方面，一个原始的ViT在用于一般的比如目标识别和语义分割的计算机视觉任务的时候面临困难。层次Transformer(例如，Swin-Transformer)，它重新引入了几个卷积神经网络先验，使Transformer作为通用视觉主干实际上可行，并在各种视觉任务中表现出卓越的性能。然而，这种混合方法的有效性仍然很大程度上归功于Transformer的内在优势，而不是卷积固有的归纳偏差。
【论文阅读】ConNeXt —— A ConvNet for the 2020s
qq_43456016的博客
03-07 648
神经网络学习过程的本质就是为了学习数据分布，如果我们没有做归一化处理，那么每一批次训练数据的分布不一样，从大的方向上看，神经网络则需要在这多个分布中找到平衡点，从小的方向上看，由于每层网络输入数据分布在不断变化，这也会导致每层网络在找平衡点，显然，神经网络就很难收敛了。当然，如果我们只是对输入的数据进行归一化处理（比如将输入的图像除以255，将其归到0到1之间），只能保证输入层数据分布是一样的，并不能保证每层网络输入数据分布是一样的，所以也需要在神经网络的中间层加入归一化处理。
CVPR2022 A ConvNet for the 2020s
菜鸟中的菜中菜的博客
03-07 3185
A ConvNet for the 2020s https://arxiv.org/abs/2201.03545 https://github.com/facebookresearch/ConvNeXt 讲解https://mp.weixin.qq.com/s/q-s_dV4-TCiVPMOTZKEgPQ https://www.bilibili.com/video/BV1SS4y157fu https://www.bilibili.com/video/BV1iP4y1M7nk 以SwinTransfor
【读点论文】A ConvNet for the 2020s，结合swin transformer的结构设计和训练技巧调整resnet网络，在类似的FLOPs和参数量取得更好一点的效果
白水空空
09-18 2117
视觉识别的“咆哮的20年代”始于视觉transformer(ViTs)的问世，。另一方面，普通的ViT在应用于一般的计算机视觉任务时面临困难，如目标检测和语义分割。正是层次化的transformer(例如Swin transformer)重新引入了几个ConvNet先验，使transformer作为通用的视觉主干实际上可行，并在各种各样的视觉任务中显示出卓越的性能。然而，这种混合方法的有效性仍然很大程度上归功于transformer的内在优势，而不是卷积固有的归纳偏差。
A ConvNet for the 2020s 简单翻译/理解
qq_43575907的博客
05-21 1609
A ConvNet for the 2020s 简单翻译/理解 最近看到FAIR发的这一篇，尝试证明传统的卷积网络在性能和计算效率能上打过Transformer，结果卓有成效。对于我这种新手来说，这不就是一个优质的综述么，打算做一个简单的翻译+理解，有错误还希望评论区指出，欢迎讨论！ 文章目录A ConvNet for the 2020s 简单翻译/理解@[TOC](文章目录)前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工
A ConvNet for the 2020s(论文翻译)
qq_33287871的博客
01-22 3401
A ConvNet for the 2020sAddressAbstract1. Introduction Address https://github.com/facebookresearch/ConvNeXt https://arxiv.org/pdf/2201.03545.pdf Abstract ViT伴随着视觉的“20年代”咆哮而来，它迅速取代了 ConvNets，成为最先进的图像分类模型。另一方面，常规的 ViT 在应用于目标检测和语义分割等一般计算机视觉任务时面临困难。正是分层 Transfo
a convnet for the 2020s复现代码
最新发布
06-04
### 关于 "A ConvNet for the 2020s" 的复现代码 GitHub 仓库 论文“A ConvNet for the 2020s”介绍了ConvNeXts模型，这是一种纯卷积神经网络架构，能够在多个计算机视觉基准上与最先进的分层视觉Transformer竞争，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值