论文阅读-Rethinking ImageNet Pre-trainging

最新推荐文章于 2023-03-01 19:51:24 发布
原创 最新推荐文章于 2023-03-01 19:51:24 发布 · 344 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #计算机视觉

本文探讨了ImageNet预训练在目标检测任务上的必要性和帮助，指出预训练虽不必要但有益，追求通用表示有价值。从零训练检测器时，稳定梯度、足够epoch和学习率、数据增广是关键。实验表明，数据量和迭代次数足够时，预训练加速收敛但对性能提升有限。

论文地址： Rethinking ImageNet Pre-trainging

1. 简述

  论文更像是一个实验报告，通过在二阶段的Mask RCNN上设计多个实验，得到了关于ImageNet Pre-Training的一些结论。

  • Is ImageNet pre-training necessary? No
  • Is ImageNet helpful? Yes
  • Shall we pursuit universal representations? Yes.

2. 从0训练检测器

   学习ScratchDet作者的观点：

  • 需要能够稳定梯度的优化手段(BN,GN,SN)
  • 需要足够多的epochs和合适的学习率
  • 小数据集上需要增广(有的模型上貌似增广是没什么用的)

   BN在优化过程中如何起作用，论文How Does Batch Normalization Help Optimization? 提到：

  • 使得梯度更加稳定，更加可预测
  • 可采用更大步长并使用更大学习率来加速训练
  • 阻止loss函数解空间突变：避免梯度消失陷入平坦区域；避免梯度爆炸得到局部最优解

3.结论

  • (1) 数量足够，迭代足够的时候，pre-training会加速收敛但是对performance影响不大
  • (2) fine-tune并不能减少过拟合

4.实验设计

  • Training from scratch to match accuracy [两组实验室采用不同的正则化方法，对比随机初始化和pre-training的结果得到结论(1)]
  • Training from scratch with less data [分别用30k，10k，1k的数据进行实验得到结论(2)]
Rethinking ImageNet Pre-training
码农ZZK的博客
08-03 761
前言 这篇文章是何恺明组做的一个偏实验的工作，主要是探究ImageNet预训练的模型，在迁移到其他任务比如目标检测，分割等会不会比从头训练模型的要更好。可以总结一下就是 在数据集充分的条件下，各个任务里，从头训练的效果并不比在ImageNet预训练过的要差 从头训练的模型需要更多的迭代次数，才能追上预训练模型Finetune的结果 ImageNet预训练的作用更多的是加速模型收敛，但不意味最后模型表现的好 当迁移数据量极少时，ImageNet预训练过的模型表现的要比从头训练的模型要好很多 摘要 如今各个
论文笔记：Rethinking ImageNet Pretraining——是否需要Pretrain
richard_che的博客
05-17 722
论文：https://arxiv.org/pdf/1811.08883.pdf 本文主要： 说明能在检测或者实例分割上通过From Scratch的方式得到比较好的效果 甚至能大部分复用finetune ImageNet预训练网络时候的超参，仅仅是迭代次数提升，都可以得到接近ft的效果 pretrain仅能够加速训练的收敛，不会对目标任务的指标提升起作用 这样的结论让人重新审视目前流行的 Pretrain-fintune流程 Intro 传统思路认为Pretrain学习了图像的一些通用特征，在此基础上
《Rethinking ImageNet Pre-training》理解
黄鑫的博客
12-18 430
论文：何恺明《Rethinking ImageNet Pre-training》 在许多计算机视觉任务中，包括目标检测、图像分割、行为检测等，一般使用在ImageNet上预训练再进行微调。而在这篇论文中，作者任务在ImageNet上预训练是并不必要的，随机初始化也可以达到同样的效果，只需要： 1）使用合适的正则化优化方法 2）足够长的训练时间，即多次迭代训练 论文中的走势图，我们可以观察到...
Rethinking ImageNet Pre-training 重新审视Imagenet预训练
donkey_1993的博客
11-27 3335
Rethinking ImageNet Pre-training   2018年ECCV 论文地址：https://arxiv.org/pdf/1811.08883.pdf 本论文是何凯明大神的一篇论文，主要是讨论了Imagenet预训练和随机初始化参数之间的区别。 论文摘要： 作者在COCO数据集上进行实例分割和检测测试，发现预训练+微调的效果和随机初始化的效果接近。并且随机初始化的网络...
2019-何凯明-预训练-Rethinking ImageNet Pre-training1
08-03
预训练-imageNet 预训练的重新思考 预训练-imageNet 预训练是计算机视觉领域中的一种常见方法，通过在大规模数据集（如ImageNet）上预训练模型，然后在目标任务上进行微调以获得更好的性能。然而，最近的一些研究...
预训练+微调+Rethinking ImageNet Pre-training论文阅读笔记
qq_43428929的博客
11-17 1864
近期在阅读何凯明大神的Rethinking ImageNet Pre-training论文，论文中对比了深度学习提分小trick——pre-training和随机初始化之间对于任务性能的差别，实验证明预训练仅提高收敛速度但不能提高模型性能，同时预训练也不能防止过拟合。这就比较有意思了，正好我对预训练还有些不了解，正好趁着这个机会整理一下。
2020-Rethinking Pre-training and Self-training.pdf
08-15
这篇文章《2020-Rethinking Pre-training and Self-training.pdf》针对这两种方法进行了重新思考，并提出了新的见解和实验结果。 首先，我们需要理解预训练的概念。预训练指的是在一个大型和多样化的数据集上训练...
Rethinking ImageNet Pre-training 论文解读
qq_28778507的博客
01-15 346
随机初始化参数的模型其训练结果不比预训练模型差（使用了合适的normalization），唯一的不同是增加了训练迭代次数。随机初始化训练具有很好的鲁棒性，甚至在以下情况仍然成立： 仅适用10%训练数据 用于更深和更宽的模型 用于多任务和多指标 结论 随机初始化的模型在训练一段时间后就要赶上预训练模型，其时间=预训练模型训练时间+微调时间。 预训练模型不能提供更好的正则化，当训练数据较少时，发现...
Rethinking Pre-training and Self-training论文阅读笔记：关于预训练和自训练的炼丹心法
tcltyan的博客
03-28 1521
这篇文章提出了著名的NAS-FPN-EfficientNet-L2骨干网络架构。作为PASCAL VOC 2012语义分割数据集上的SOTA模型，它在single-scale inference的设置下达到了test集的90.5% mIOU，可谓性能强劲。虽然提出了SOTA模型，但这篇文章最主要的贡献还是对预训练和自训练在目标检测和语义分割两个下游任务的深入讨论。 总的来说，文章在Kaiming He的Rethinking ImageNet Pre-training基础上做了很多进一步的实验...
Rethinking Pre-training and Self-training论文阅读及笔记
qq_34291583的博客
08-15 359
Paper Reading - 基础系列 - Rethinking ImageNet Pre-training
weixin_43953700的博客
04-24 3226
论文链接 Kaiming He 大神不用多说 更多可见计算机视觉-Paper&Code - 知乎 Abstract 先总结一下论文的几点要点，果然大牛的论文都是清楚简单易懂，各种消融对比试验砸脸上 当训练任务对位置信息非常敏感时，比如分割、key-point，imagenet pretrained用处不大 数据集可用标注数据越多，预训练的作用越小 当使用更强大的数据增强方案时，预训练反而会损害模型的性能 pretrain可以使结果更快收敛，但是数据量足够大情况下随机初始化后得到的
经典论文系列 | 重新思考在ImageNet上的预训练
CV技术指南（微信公众号）
05-07 1629
前言： 这是一篇19年何凯明发的论文，论文基于目标检测、实例分割和人体关键点检测三个方向进行了多项实验，比较了从零使用随机初始化开始训练与使用预训练进行fine-tuning的效果，并得出了一些结论。 在本文将介绍论文的主要思想，主要结论，一些细节和作者基于实验结论上的讨论。 论文：Rethinking ImageNet Pre-training 主要思想 近年来一个通用的模式是将模型在大规模数据集上预训练，再到目标数据集上进行fine-tuning。这样的模式在很多任务上取得...
centerfusion中模型训练中的模型初始化以及模型运行流程
gui_hai的博客
03-01 801
centerfusion模型构建以及运行
CenterFusion算法环境配置与demo运行 CenterFusion: Center-based Radar and Camera Fusion for 3D Object Detection
HIT_Vanni的博客
11-25 9532
CenterFusion算法环境配置与demo运行1.论文简介2.环境配置 1.论文简介 论文链接：https://arxiv.org/pdf/2011.04841v1.pdf 项目链接：https://github.com/mrnabati/CenterFusion 该文作者信息： 作者来自田纳西大学诺克斯维尔分校。 激光雷达使用发射的激光测距进行环境感知，而雷达使用无线电发射进行探测。 3D目标检测在自动驾驶领域应用广泛，而激光雷达（Lidar）和摄像头数据的融合常用来进行高精度的3D目标检测，但其仍
Rethinking ImageNet Pre-training 论文笔记
AI之路
11-26 5079
论文：Rethinking ImageNet Pre-training 论文链接：https://arxiv.org/abs/1811.08883 Kaiming He这篇文章以计算机视觉中的目标检测、实例分割和人体关键点检测领域为例，思考预训练模型是否真的那么重要，最后基于实验结果得出结论：基于随机初始化的网络参数（train from scratch）训练模型的效果并不比基于ImageNet数...
ImageNet时代将终结？何恺明新作：Rethinking ImageNet Pre-training
AI科技大本营
11-22 6684
译者 |刘畅 林椿眄整理 | Jane出品 | AI科技大本营Google 最新的研究成果 BERT 的热度还没褪去，大家都还在讨论是否 ImageNet 带来的预训练...
贝叶斯建模实践：statistical-rethinking深度体验
根据给出的文件信息，我们首先关注标题“statistical-rethinking:我通过Richard McElreath进行统计反思的尝试”，它指向了一系列与统计思考和贝叶斯统计方法相关的实践活动，特别强调了Richard McElreath教授所著的...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值