Big Transfer (BiT)论文阅读笔记

最新推荐文章于 2025-04-18 00:35:29 发布
原创 最新推荐文章于 2025-04-18 00:35:29 发布 · 3.7k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#迁移学习 #图像识别 #深度学习

本文介绍了一种名为BiT的迁移学习方法，通过大规模数据集预训练的模型在各种图像分类任务上表现出良好的泛化能力。BiT采用ResNet152x4作为默认模型，并在不同规模的数据集上进行了验证。

这篇论文讲的是迁移学习在图像分类任务中的应用，作者强调这是一种通用型的迁移学习，也就是说这种方法不会为特定的数据集做特殊的处理，不同等级的预训练模型在往其他数据集上迁移时均采用相同的处理的方法，以此来证明BiT这种方法的普适性。

方法

上游预训练模型

上游预训练的模型规模体现在训练数据的大小，而不是模型的大小。作者试验了几种模型，默认采用ResNet152x4。论文中按照数据的大小，分别训练的BiT-S、BiT-M和BiT-L三种规模的预训练模型，分别对应的数据集是ILSVRC-2012（1.3M）、ImageNet-21K（14M）和JFT（300M）。

预训练模型采用了Group Normalization和Weight Standardization。作者给出了不使用Batch Normalization的两个理由：1. 训练模型会使用分布式，使用BN的话无法利用到大Batch Size的优势，因为不同卡之间没有同步；2. BN需要更新运行中的数据，不适合用于任务迁移。

迁移到下游任务

训练好上游网络后，需要把网络fine-tune到下游任务中，论文采用了一种叫做BiT-HyperRule的启发式方法去选择和调整几个重要的训练超参——训练周期长度、数据分辨率和是否使用MixUp数据增强。这种方法是通用的，只会在某些不同情况下做一下区分，调整的方法如下：

  1. 数据分辨率。小于 96 × 96 96\times96 96×96的分辨率，先将图片resize到 160 × 160 160\times160 <
最低0.47元/天 解锁文章
[论文阅读]Big Transfer (BiT):General Visual Representation Learning
weixin_58244117的博客
10-16 1014
预训练+微调模式；上游预训练；下游迁移；更通用的视觉表征学习；摘要：在训练视觉深度神经网络时，预训练表示的转移提高了样本效率，简化了超参数调优。回顾了在大型监督数据集上进行预训练的范式，并对目标任务上的模型进行微调。我们扩大了预训练的规模，并提出了一个简单的方法，我们称之为(BiT)。通过组合一些精心选择的组件，并使用简单的启发式传输，我们在超过20个数据集上实现了强大的性能。BiT在令人惊讶的广泛数据机制上表现良好——从每个类1个示例到总示例1million个。
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
风格迁移数据集，可用于CartoonGAN等
01-04
通过PSNR和SSIM判断图像相似度，从宫崎骏动漫“起风了”中截取图像数据集，数据集中的图像大小为512*512，共1936张图像，该数据集可用于深度学习风格迁移。
风格迁移style_transfer
07-19
风格迁移用VGG19训练速度缓慢。cs231n的作业3里面有风格迁移的作业，用squeeze_net训练速度大大加快，代码用jupyter_notebook，讲解网络顶层的构建与损失函数的计算，适合新手上手。
风格迁移数据集_【力维智联 | 新视野】迁移学习新突破 澎思科技刷新跨域行人再识别（ReID）三项世界纪录...
weixin_39781323的博客
12-14 186
继在三大主流单帧图片行人再识别数据集、三大主流视频行人再识别数据集刷新世界记录后，近日，澎思科技(Pensees)再次在单帧图片数据集(Market1501，DukeMTMC-reID，MSMT17)刷新世界纪录，大幅提升了跨域ReID算法的准确率。　　本次，澎思科技创新性地将对抗生成网络与自监督学习算法结合进行模型的训练，通过迁移学习，进行高准确率的跨场景(数据库)行人再识别算法...
风格迁移--生成你想要的风格
CoderWangSon
12-22 918
风格迁移–生成你想要的风格 标签： pytorch 随着深度网络的流行，用AI作画也不再是问题，比如下面这一张： 你能看出来是手画的，还是自动生成的吗。 下面介绍一个风格迁移网络，能够帮你生成任意你想要的style。本文也会提供一个Starry_Night_Over_the_Rhone的style模型，大家可以自己后台回复style_transform获取代码和模型。 下面简单介绍一下风格迁移...
ViT ——AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE(论文阅读笔记)
weixin_40671425的博客
11-21 3387
ViT 是Google团队于2021年发表在ICLR上的paper， 论文链接：https://arxiv.org/abs/2010.11929 摘要 虽然 Transformer 架构已成为自然语言处理任务事实上的标准，但其在计算机视觉中的应用仍然有限。 在视觉中，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持其整体结构不变。 我们表明，这种对 CNN 的依赖是不必要的，直接应用于图像块序列的纯transformer可以在图像分类任务上表现得非常好。 当在大量数...
【论文阅读】Semantic Prompt for Few-Shot Image Recognition（已复现）
cainiaomyf的博客
09-30 2867
小样本学习是一个具有挑战性的问题，因为只提供了少量样本来识别新的类别。最近的一些研究利用了额外的语义信息，例如类别名称的文本嵌入，通过将语义原型与视觉原型相结合来解决稀缺样本的问题。然而，这些方法仍然受到从稀缺支持样本中学习到的虚假视觉特征的影响，导致收益有限。在本文中，我们提出了一种用于小样本学习的新颖语义提示（Semantic Prompt，SP）方法。我们并非简单地利用语义信息来修正分类器，而是探索将语义信息作为提示来自适应地调整视觉特征提取网络。
【论文笔记】An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale
最新发布
Word_And_Me_的博客
04-18 1910
【题目】：An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale【引用格式】：Dosovitskiy A, Beyer L, Kolesnikov A, et al. An image is worth 16x16 words: Transformers for image recognition at scale[J]. arXiv preprint arXiv:2010.11929, 2020.【网址】：htt
风格迁移（转换） | 常用数据集 | 【❤️有效整理❤️】
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
11-12 9199
cycleGAN | NiceGAN 论文中使用到的 四个 风格转换数据集下载链接： https://people.eecs.berkeley.edu/~taesung_park/CycleGAN/datasets/ 下载界面如下： pix2pix 论文中使用到的 5个风格转换数据集（配对的数据）下载链接： https://people.eecs.berkeley.edu/~tinghuiz/projects/pix2pix/datasets/ styleGAN 高清人脸数据集 https:/.
big_transfer：“大转移（BiT）：常规视觉表示学习”论文的官方资料库
02-05
大转移（BiT）：一般视觉表示学习 亚历山大·科列斯尼科夫（Alexander Kolesnikov），卢卡斯·拜尔（Lucas Beyer），翟小华，琼·普格瑟弗（Joan Puigcerver），容西丝（Yessica Yung），席尔文·盖利（Sylvain Gelly），尼尔·霍尔斯比（Neil Houlsby） 介绍 在此存储库中，我们发布了来自论文的多个模型，这些模型已在和数据集上进行了预训练。 我们提供的代码可以在主要的深度学习框架 ， 和 / 微调已发布的模型。 我们希望计算机视觉社区将通过使用功能更强大的ImageNet-21k预训练模型（而不是在ILSVRC-2012数据
图像风格迁移-数据集
03-05
暂无描述 GBDT原理.md
大迁移：通用视觉表示学习 (General Visual Representation Learning)
05-09
在为视觉训练深度神经网络时，预训练表示的迁移提高了样本效率并简化了超参数调整。我们回顾了在大型监督数据集上进行预训练和在目标任务上对模型进行微调的范例。
图像的风格迁移
12-18
风格迁移示例，仅作为学习下载，有需要的请自行下载。
风格迁移模型实例
04-03
风格迁移模型的实现例子，有兴趣的可以看看，虽然只是个简单的例子，但对初学者还是比较友好的
【技术综述】人脸风格化核心技术与数据集总结
hacker_long的专栏
06-29 2237
人脸图像是计算机视觉领域中研究历史最久，也是应用最广泛的图像。近几年随着研究方法的进步以及相关数据集的收集，人脸风格化成为了一个非常热门的研究领域和应用方向，本文我们来介绍其中的核心技术...
深度学习 对比两张图片的差异_【每周CV论文】初学深度学习图像对比度增强应该要读的文章...
weixin_39614657的博客
11-29 1939
欢迎来到《每周CV论文》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。图像对比度增强，即增强图像中的有用信息，抑制无用信息，从而改善图像的视觉效果，今天给大家推荐初学该领域必须要读的文章。作者&编辑 | 言有三 1Fast image processing with FCN卷积神经网络模型拥有强大的表达能力，...
风格迁移——CAP-VSTNet训练自己数据集并推理测试（详细图文教程）
qq_40280673的博客
05-08 4319
CAP-VSTNet是2023年提出的风格迁移网络，它在处理风格迁移时表现出了优秀的性能。这个网络包括一个新的可逆残差网络和一个无偏线性变换模块，用于多功能风格转移。CAP-VSTNet的主要目标是解决内容相似度损失（包括特征和像素相似度）问题，这是导致逼真和视频风格迁移中出现伪影的主要问题。 根据相关研究，CAP-VSTNet在多功能风格转移上表现出了有效性，并且可以产生较好的定性和定量结果。这意味着CAP-VSTNet能够在保留内容相似性的同时，实现高质量的风格迁移。
探索谷歌的大规模预训练模型：Big Transfer（BiT）
gitblog_00017的博客
04-25 664
探索谷歌的大规模预训练模型：Big Transfer（BiT） big_transfer Official repository for the "Big Transfer (BiT): General Visual Representation Learning" paper. ...
big transfer使用教程
03-27
### BigTransfer 的使用教程及相关资源 BigTransfer 是由 Google 研究人员开发的一种通用视觉表示学习方法，旨在通过大规模图像数据集上的预训练来提升模型性能[^1]。以下是有关其使用的教程和相关资源： #### 1. 官方文档与代码库 官方提供了详细的实现代码以及说明文档，开发者可以访问 GitHub 上的项目页面获取完整的源码和运行指南[^3]。 GitHub 地址如下： ```plaintext https://github.com/google-research/big_transfer ``` 该仓库包含了多个脚本文件用于执行不同的功能，例如 `bit_train.py` 和 `bit_hypertune.py` 可分别用来完成模型微调和超参数优化。 #### 2. 预训练权重加载 为了快速上手并应用迁移学习技术，在实际操作过程中通常会先下载已有的预训练权重。这些权重可以从上述链接中的指定路径获得，并按照 README 文件内的指导将其应用于新的目标任务之上。 #### 3. Keras/TensorFlow 实现案例 如果倾向于采用更简洁易懂的方式理解整个流程，则可参考其他基于 TensorFlow 或者 Keras 架构构建的例子。比如有文章介绍了如何利用 Transformer 结合表格型结构化资料处理场景下的实践方案[^2]。尽管此例重点在于 Tabular 数据而非纯图片分类领域，但它同样展示了现代框架下灵活调整网络架构的能力，这对于熟悉 BiT 同样有所帮助。 #### 4. 运行环境配置建议 由于涉及大量计算需求较高的任务（特别是当目标类别数较多或者输入分辨率较大时），推荐使用 GPU 加速运算速度；同时确保安装最新版本的支持库如 TensorFlow >= 2.x 版本以及其他依赖项。 --- ### 示例代码片段：加载预训练模型 下面给出一段简单的 Python 脚本来演示怎样从头开始设置好一个基本的大规模传输实验环境。 ```python import tensorflow as tf from bit_pytorch import KNOWN_MODELS, BitTrainer # 设置设备偏好 device = 'cuda' if tf.test.is_gpu_available() else 'cpu' # 初始化BitTrainer类实例对象 model_name = "R50x1" pretrained_model_path = "./path_to_pretrained_weights/" trainer = BitTrainer(KNOWN_MODELS[model_name], head_size=your_num_classes) # 将模型移动到选定设备上 _ = trainer.to(device) print("Model loaded successfully.") ``` 注意替换变量 `your_num_classes`, 并确认本地存在对应权值档案位置正确无误后再尝试启动程序。 ---
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值