Self-training with Noisy Student improves ImageNet classification

最新推荐文章于 2024-04-16 22:37:52 发布
原创 最新推荐文章于 2024-04-16 22:37:52 发布 · 666 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #计算机视觉 #机器学习

这篇博客介绍了谷歌在CVPR2020会议上发表的工作，该研究利用噪声学生自我训练策略改进了ImageNet分类性能。作者提供了论文链接和实现代码，读者可以从中学到多种技术技巧。

记录一下之前报告的一篇paper
文章链接：https://openaccess.thecvf.com/content_CVPR_2020/papers/Xie_Self-Training_With_Noisy_Student_Improves_ImageNet_Classification_CVPR_2020_paper.pdf
代码链接：https://github.com/DanielChen98/noisystudent

在这里插入图片描述谷歌在CVPR2020发表的一个工作，其中有很多trick可以借鉴
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Self-training with Noisy Student improves ImageNet classification论文解析
761527200_leili的博客
04-17 5945
一.摘要 首先，本文开门见山给出实验结果在ImageNet上的提升。之后给出了他的实现方法，总的来说这篇文章结合了（1）知识蒸馏（2）半监督学习（3）模型噪音以及数据噪音 ，想要了解基础知识的可以先看博客：知识蒸馏(Knowledge Distillation)、半监督学习(semi-supervised learning)以及弱监督学习(weak-supervised learning) 总结...
【论文阅读笔记】Self-training with Noisy Student improves ImageNet classification
翻山越岭的那一边
10-21 859
Motivation 利用较少的标记数据来进一步利用大规模的无标记数据进行半监督/自监督学习 用teacher模型生成伪标签训练studen模型，并通过加入噪声使student模型由于teacher模型，迭代此过程以得到更优的模型 原理 基于self-training的teacher-student框架 用标记数据训练teacher模型 用teacher模型对大规模的无标记数据生成伪标签 用labelled data和具有伪标签的unlabelled data共同训练student模型 新的stu
Self-training with Noisy Student improves ImageNet classification
逆熵而行
09-02 1291
本文提出了一种噪声学生模型（Noisy Student）自训练的方法，通过这种方法提高ImageNet的分类精度，并在EfficientNet-L2的网络上达到了state-of-the-art的水平。为了训练学生模型，先在ImageNet上训练一个老师模型，然后用这个老师模型在300万张无标签的数据上产生伪标签，用这个有标签和伪标签的数据共同来训练学生网络，如此循环几次，产生一个最终训练好的网络。 训练Noisy Student的主要算法步骤是： 用老师模型在有标签数据集（ImageNet）训练网络，损
读后感 - Self-training with Noisy Student improves ImageNet classification
gao_lingyun的博客
04-04 572
论文链接 https://arxiv.org/pdf/1911.04252v2.pdf 我学到的思想 初始训练一个教师模型，用来给未标注的图片生成伪标注。用这些伪标注的图片，加上有标注的图片同时训练一个学生模型。通过给学生模型添加噪声使得学生模型优于教师模型，有更好的泛化能力，再用学生模型替代教师模型，以此迭代。 小细节 学生模型至少和教师模型一样复杂 用RandAugment进...
Self-training with Noisy Student improves ImageNet classification (2020 CVPR)
qq_37297763的博客
04-08 3590
1. 出处 2020 CVPR 2. 主要内容 想要尽可能的利用上无标签的数据，来提高模型分类能力 3. 整体结构 输入数据： labeled images和unlabeled images ![在这里插入图片描述](https://img-blog.csdnimg.cn/43f0fbb5964c4d83ad1624951dd3d520.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAVEVuJQ==,
Self-training with Noisy Student improves ImageNet classification阅读笔记
Chen_Swan的博客
12-10 3815
论文地址：https://arxiv.org/pdf/1911.04252v1.pdf 这篇文章实现了自训练方法，使用部分带标签数据进行训练，在ImageNet上top-1为87.4%。 方法： 1. 为有标签和无标签的图片。 2. 使用有标签的数据、标准交叉熵损失训练了一个EfficientNet作为教师网络。 3. 用这个教师网络，在无标签数据上生成伪标签，伪标签可以是soft la...
精选资源
Unequal-Training-for-Deep-Face-Recognition-with-Long-Tailed-Noisy-Data:CVPR2019论文代码《带有长尾噪声数据的深度人脸识别的不平等训练》
03-11
长尾噪声数据对面部识别的不平等训练。 这是CVPR 2019论文的代码。 使用说明 该代码是从采用的。 我衷心感谢他们的贡献。 我们的方法需要两阶段的训练，因此代码也是逐步的。 如果我谦虚的代码可以为您提供帮助，...
自训练Self-Training学习总结
热门推荐
Pistachiout的学习博客
04-13 1万+
Self-training是最简单的半监督方法之一，其主要思想是找到一种方法，用未标记的数据集来扩充已标记的数据集。即首先用有标签数据训练一个分类器，然后用这个分类器对无标签数据进行分类，这样就会产生伪标签（pseudo label）或软标签（soft label），挑选一定标准的伪标签样本用来迭代训练分类器。使用场景：在现实生活中得到大量有标签数据需要大量时间经历，而自训练是有标签数据+无标签数据混合成的训练数据中使用的深度学习算法，可以利用自训练方法对无标记数据进行标记，实现己标记数据的扩充。
Self-training with Noisy Student improves ImageNet classification（2020 CVPR）半监督经典论文解读（一）
xiaomeihaha1475的博客
05-28 304
论文推荐-使用 Noisy Student 进行自训练可以提高 ImageNet 分类的表现
deephub
01-30 5327
教师学生模型、伪标签、半监督学习和图像分类 使用 Noisy Student 进行自训练改进 ImageNet 分类是一篇由 Google Research、Brain Team 和Carnegie Mellon大学发表在2020 CVPR的论文 Noisy Student在训练时使用相等或更大的学生模型和在学习期间添加噪声（Dropout, Stochastic Depth,和数据增强）扩展了自训练和蒸馏方法。 一个 EfficientNet 模型首先作为教师模型在标记图像上进行训练，为 300M 未
Self-training with Noisy Student
weixin_37179744的博客
11-16 7527
目录Self-training with Noisy Student improves ImageNet classification1、数据集简介2、性能3、模型策略4、实验策略5、Other Self-training with Noisy Student improves ImageNet classification 该篇论文作者之一 Quoc Le 11.13 日在 twitter 上...
Noisy Student自训练方法
weixin_51697828的博客
04-03 1433
原文：Xie, Qizhe, Eduard H. Hovy, Minh-Thang Luong and Quoc V. Le. “Self-Training With Noisy Student Improves ImageNet Classification.” 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2020): 10684-10695. 源码：https://github.com/goo.
Noisy Student（CVPR 2020）论文解读
最新发布
00000cj的博客
04-16 2335
本文提出了一种新的半监督方法Noisy Student Training，主要包括三步：（1）在有标签数据上训练一个教师模型（2）利用教师模型在无标签数据上生成伪标签（3）结合有标签的图片和伪标签的图片训练学生模型。重复迭代这个过程，将学生作为教师重新生成伪标签，然后再训练一个新的学生模型。
Self-training with Noisy Student improves ImageNet classification论文阅读
程序员养成日记
05-08 2366
摘要 提出了一种noisy student training，这种半监督方法即使在标记数据丰富的情况下也能很好的工作。这种方法实现了88.4的准确率，比最先进的方法高2.0%。鲁棒性方面：从61.0%提高到83.7%。 训练步骤： 在标记图像上训练一个教师模型 使用教师模型在未标记图像上生成伪标签标记图像 在标记图像和伪标签标记图像的集合上训练学生模型 改进： 使学生模型大于或至少等于教师模...
（翻译）自我监督模式（Self-Monitoring）
gc_2299的博客
08-20 1896
问题概述   让用户能够追踪其想要改变的行为。
noisy students: 一种半监督学习方法
qq_35166798的博客
12-23 969
The difference with knowledge distillation : (You can call noisy student as knowledge expansion ) the student network is no smaller than the teacher. inject noise For input noise: use data augmentation with RandAugment [18]. (Data augmentation is a.
计算机视觉的半监督模型：Noisy student, π-Model和Temporal Ensembling
deephub
04-04 4376
今天我将讨论一些在过去十年中出现的主要的半监督学习模型。首先让我们谈谈什么是半监督学习以及我们为什么对它感兴趣！ 假设我们有一个大的标记图像数据集。我们想使用这些数据来构建一个模型，进行图像分类的任务，解决这个问题的标准方法是构建卷积神经网络 (CNN)。CNN 已被证明在使用大型数据集进行训练时可以提供最先进的结果。 下面就是一个非常重要的问题，如果我们没有大型标记数据集怎么办？例如我们工作中的分类与现在的预训练的数据集例如imagenet没有交集，或者说我们处理的具体的领域没有大量公共标记数据。这样，我
李宏毅教授在NTU-ML-2021的Noisy Student实现探究
Noisy Student是一种半监督学习方法，由Google提出，该方法是基于知识蒸馏（Knowledge Distillation）和自训练（Self-training）的改进技术。它通过一个教师模型（teacher model）生成伪标签，然后让学生模型...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

VisionX Lab

你的鼓励将是我更新的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值