Bag of Tricks for Image Classification with Convolutional Neural Networks

最新推荐文章于 2025-02-24 01:00:00 发布
最新推荐文章于 2025-02-24 01:00:00 发布
阅读量502 收藏
点赞数
分类专栏： 不读paper是不可能的
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sinat_34686158/article/details/105949731
版权
该文探讨了2019年CVPR上关于卷积神经网络（CNN）图像分类的优化技巧，包括训练策略、初始化方法、批量大小优化、低精度计算和模型调整。文章指出，这些技巧不仅适用于图像分类，还能迁移到检测和分割任务。实验基于ResNet-50，通过调整如随机采样、数据增强、初始化权重、学习率调度等方法，提高了模型性能。文中还介绍了使用FP16进行低精度训练以加速并保持精度，以及通过特定的网络结构调整如ResNet-D，进一步提升准确性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文链接：Bag of Tricks for Image Classification with Convolutional Neural Networks

针对cnn图像分类的一些tricks
迁移到其他任务比如检测语义分割上也有很好的效果
2019 cvpr

  • baseline 的选择
  • 在新的硬件上有效训练tricks
  • 对ResNet-50进行微调
  • 其他的一些训练tricks
  • 其他应用上的迁移
baseline training procedure

根据http://torch.ch/blog/2016/02/04/resnets.html中优化的ResNet作为baseline。

  • 训练

    1. 随机采样图片，decoder为float-32bit，[0,255]
    2. 随机裁剪矩形区域,比例[3/4，4/3]，面积随机采样[8%，100%]。之后resize到224*224
    3. 0.5的概率水平翻转
    4. [0.6,1.4]色调，饱和度，亮度，uniform系数
    5. 增加PCA噪音，正态分布 N ( 0 , 0.1 ) \mathcal{N}(0,0.1) N(0,0.1)
    6. 归一化rgb通道， − [ 133.68 , 116.779 , 103.939 ] -[133.68,116.779,103.939] −[133.68,116.779,103.939]&& ÷ [ 58 , 393 , 57.12 , 57.375 ] \div[58,393,57.12,57.375] ÷[58,393,57.12,57.375]

  • 验证

    1. 保持图片长宽比，resize最短边为256
    2. crop中心区域224*224
    3. normalize RGB channels similar to training.

  • 初始化

    1. 卷积全连接 weights ：Xavier初始化 参数值 from [ a , − a ] [a,-a] [a,−a], a = 6 / ( d i n + d o u t ) a=\sqrt{6/(d_{in}+d_{out})}
最低0.47元/天 解锁文章
图像分类优化技巧（Bag of Tricks for Image Classification with Convolutional Neural Networks）
mingo_敏
12-13 3373
Bag of Tricks for Image Classification with Convolutional Neural Networks，李沐大神18年12月的新作，用卷积神经网络进行图像分类的一些技巧。 论文：Bag of Tricks for Image Classification with Convolutional Neural Networks 本文主要讨论训练神经网络过程中...
论文笔记-Bag of Tricks for Image Classification with Convolutional Neural Networks
XZH16047129的博客
08-23 379
目录 摘要 1.大纲 2.Baseline 2.1训练预处理 2.2测试预处理 3.改进点 3.1 训练速度 3.1.1 batch size调整 3.2 网络结构 3.2.1 模型调整​ 3.3 训练过程优化 3.3.1 Cosine Learning Rate Decay 3.3.2 Label Smoothing 3.2.3 知识蒸馏（Knowledge Distillation） 3.2.4 混合训练（Mixup Train） 3.2.5 实验结果 摘要 很多..
【cvpr2019】Bag of Tricks for Image Classification with Convolutional Neural Networks
Always_ease的博客
04-10 1550
Bag of Tricks for Image Classification with Convolutional Neural Networks 作者：Tong He, Zhi Zhang, Hang Zhang, Zhongyue Zhang, Junyuan Xie, Mu Li 论文链接：https://arxiv.org/abs/1812.01187 源码链接：https://gith...
Bag of Tricks for Image Classification with Convolutional Neural Networks【浅读】
bettle_king的博客
04-23 350
最近在图像分类研究中取得的许多进展可以归功于训练过程的改进，例如数据增强和优化方法的变化。然而，在文献中，大多数改进要么作为实现细节简要地提到，要么只在源代码中可见。在本文中，我们将研究这些改进的集合，并通过烧蚀研究经验评估它们对最终模型精度的影响。我们将证明，通过将这些改进结合在一起，我们能够显著改进各种CNN模型。例如，我们将ResNet-50在ImageNet上的前1验证准确率从75.3%提高到79.29%。
【论文精读】Bag of Tricks for Image Classification with Convolutional Neural Networks
qq_41776136的博客
04-20 1077
目标检测的目标是定位图像中对象的边界框。pathB使用步幅为2的1×1卷积，将输入形状转换为pathA的输出形状，因此我们可以对两条路径的输出进行求和，得到下采样块的输出。此外，通过给大批量训练叠加所有的启发式，在1024批大小和FP16条案件下训练的模型相比基线模型在top-1准确率上甚至有轻微的0.5%的提高。这个调整最初是在Inception-v2[26]中提出的，它也可以在其他实现中找，如SENet [12]，PSPNet [31]，DeepLabV3 [1]，和ShuffleNetV2[21]。
论文解读-Bag of Tricks for Image Classification with Convolutional Neural Networks
为之则易，不为则难
02-22 9884
文章目录1 动机2 baseline3 改进点3.1 训练速度3.1.1 batch size调整3.1.2 Low-precision training3.1.3 实验结果3.2 网络结构3.2.1 理论3.2.2 实验结果3.3 训练过程优化3.3.1 Cosine Learning Rate Decay3.3.2 Label Smoothing3.3.3 Knowledge Distilla...
Bag of Tricks for Image Classification with Convolutional Neural Networks论文笔记
XiaoTaiYang6的博客
12-04 410
简介 当前许多图像分类的研究可以归功于训练过程的改进，例如改进数据增强和优化方法。然而在一些文献中，许多改进仅仅在实验细节中有简短的描述活在源码中才会出现。本文使用了这些小技巧将原始ResNet-50在ImageNet上的准确率从75.3%提升到79.29%。复现结果可以在GluonCV中找到，https://github.com/dmlc/gluon-cv。这篇文章可以看作是一群经验丰富的工程师...
[深度学习] Image Classification图像分类之Bag of Tricks for Image Classification with Convolutional Neural Net
sinat_33487968的博客
12-09 6154
论文全称：《Bag of Tricks for Image Classification with Convolutional Neural Networks》 论文地址：https://arxiv.org/pdf/1812.01187.pdf 这篇文章主要讨论最近这些训练神经网络的tricks，这些tricks大部分都只是在以前的论文轻描淡写地一笔带过，有些只能在源代码里找到，但这一部分可能...
深度学习论文：Bag of Tricks for Image Classification with Convolutional Neural Networks
人生当苦无妨
02-02 1751
论文： He, Tong, et al. "Bag of tricks for image classification with convolutional neural networks." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019. 1.Introduction...
Bag of Tricks for Image Classification with Convolutional Neural Networks——使用卷积神经网络进行图像分类的技巧包
最新发布
Together_CZ的博客
02-24 959
Bag of Tricks for Image Classification with Convolutional Neural Networks——使用卷积神经网络进行图像分类的技巧包
【论文阅读】Bag of Tricks for Image Classification with Convolutional Neural Networks
happyday_d的博客
12-16 1696
Bag of Tricks for Image Classification with Convolutional Neural Networks 本文作者总结了模型训练过程中可以提高准确率的方法,如题，作者说 bag of tricks，阅读了一遍文章，有用的内容挺多，为了比赛上分，可以一试，总结如下。文中提到的方法在GLuonCV 0.3中有实现，可以参考这个源代码。 文中提到技巧不仅可以应用...
[paper] Bags of Tricks for Image Classification with Convolutional Neural Networks
四月晴
12-14 1527
介绍 论文地址：https://arxiv.org/abs/1812.01187 这篇文章主要介绍了一些在训练神经网络中可以提高准确率的tricks。随着深度学习的发展，不断有新的网络结构被提出，例如VGG, NiN, Inception, Resnet, DenseNet, NASNet等。伴随着新的网络结构的诞生，分类准确率也在不断上升。但是，损失函数的改变，数据预处理和优化方法对于准确率...
[论文阅读]Bag of Tricks for Image Classification with Convolutional Neural Networks
Costwen的博客
10-22 384
Abstract 作者介绍了几种常用的tircks,这些tricks能够明显提高普通网络的精度 Trainning Procedures Training Steps 将图片转成RGB 随机在原图像中裁剪出一个矩形区域,其长宽比为[3/4,4/3],同时大下会在[8%,100%]这个区间选择。然后将图片resize到224-by-224 3.0.5的几率随机水平翻转 4.随机改变色调,饱和度,亮度,比例区间为[0.6,1.4] 5.添加PCA噪声,系数服从N (0,0.1)N~(0,0
Bag of Tricks and A Strong Baseline for Deep Person Re-identification
03-31
Deep person re-identification is the task of recognizing a person across different camera views in a surveillance system. It is a challenging problem due to variations in lighting, pose, and occlusion. To address this problem, researchers have proposed various deep learning models that can learn discriminative features for person re-identification. However, achieving state-of-the-art performance often requires carefully designed training strategies and model architectures. One approach to improving the performance of deep person re-identification is to use a "bag of tricks" consisting of various techniques that have been shown to be effective in other computer vision tasks. These techniques include data augmentation, label smoothing, mixup, warm-up learning rates, and more. By combining these techniques, researchers have been able to achieve significant improvements in re-identification accuracy. In addition to using a bag of tricks, it is also important to establish a strong baseline for deep person re-identification. A strong baseline provides a foundation for future research and enables fair comparisons between different methods. A typical baseline for re-identification consists of a deep convolutional neural network (CNN) trained on a large-scale dataset such as Market-1501 or DukeMTMC-reID. The baseline should also include appropriate data preprocessing, such as resizing and normalization, and evaluation metrics, such as mean average precision (mAP) and cumulative matching characteristic (CMC) curves. Overall, combining a bag of tricks with a strong baseline can lead to significant improvements in deep person re-identification performance. This can have important practical applications in surveillance systems, where accurate person recognition is essential for ensuring public safety.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值