笔记——Learning Transferable Architectures for Scalable Image Recognition

最新推荐文章于 2025-01-21 15:38:21 发布
最新推荐文章于 2025-01-21 15:38:21 发布
阅读量2.5k 收藏 4
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 论文笔记 文章标签： 深度学习与计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/smilewsw/article/details/78469851
本文探讨了通过Neural Architecture Search (NAS)框架在CIFAR-10数据集上寻找最优网络结构，并将其应用于ImageNet数据集，实现了模型性能提升1.2%，同时减少了28%的计算成本。研究定义了Normal Cell和Reduction Cell，优化目标包括细胞内部结构和层的数量。结果显示，NAS框架找到的结构在任务迁移和模型压缩中表现出色。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这里写图片描述

主要思想：

​通过NAS(Neural Architecture Search Framework)在CIFAR-10 dataset上找到最优的网络结构，再扩展到ImageNet dataset上。
​模型提升——​ This paper 1.2%better computer cost: a reductionof 28%

定义优化问题：
  • 定义两种类型的convolution layer：
    ​ a. Normal Cell: 输入输出的feature map大小相同
    ​ b. Reduction Cell: 输出feature map height/2, width/2
  • 上述两种layer中可以包含如下操作：

这里写图片描述

  • 整体架构如Figure2所示
    ​ 每当feature map大小减小一半，filter个数加倍2x

最低0.47元/天 解锁文章

200万优质内容无限畅学
深度学习从入门到精通：保姆级教程来啦
大雨的博客
07-05 1340
我们首先了解了深度学习的基本概念，明白了它是如何通过神经网络来模拟人类大脑的学习过程，从而实现对数据的智能处理。接着，我们深入探讨了深度学习的核心原理，包括神经网络的结构、激活函数的作用、损失函数的计算以及优化算法的选择等。这些知识是我们理解和应用深度学习的基石，只有掌握了它们，我们才能更好地构建和训练深度学习模型。
【论文阅读】Learning Transferable Architectures for Scalable Image Recognition
qq_44633016的博客
01-28 1965
Learning Transferable Architectures for Scalable Image Recognition是对NAS（也是Google Brain的）的改进
Learning Transferable Architectures for Scalable Image Recognition
06-02
Learning Transferable Architectures for Scalable Image Recognition
Learning Transferable Architectures for Scalable Image Recognition论文简述
weixin_42638415的博客
03-19 3247
本文是谷歌在2018年提出的一篇神经网络结构最优搜索的论文 本文的核心思想是基于一篇Neural Architecture Search With Reinforcement Learning，的优化和改进。 我们知道在深度学习任务比如图像识别，图像分类中模型结构是非常关键的，比如VGG，ResNet，DenseNet等在网络结构的设计。但是，这种人为设计的结构就一定好么？不一定，因此希望能通过一个神经网络来按照一定策略学习得到最佳的网络结构。 首先，先简单说一说Neu...
[深度学习从入门到女装]Learning Transferable Architectures for Scalable Image Recognition
炼丹师
03-06 1667
论文地址：Learning Transferable Architectures for Scalable Image Recognition 这是谷歌大脑的一篇关于神经网络结构最优搜索的论文 在基于Neural Architecture Search (NAS)进行网络结构最优搜索的结构上进行改进，不搜索整个网络的结构，只搜索block（cell）的最优结构，因为目前最流行的网络都是c...
《Learning Transferable Architectures for Scalable Image Recognition》论文阅读笔记
JR_Chan的博客
03-14 630
NASNet  这篇文章出自Google Brain，是对他们之前发表在ICLR2017的论文《Neural Architecture Search with Reinforcement Learning》的改进，而这篇文章则发表在了CVPR 2018。原文可见Learning Transferable Architectures for Scalable Image Recognition。 ...
【读点论文】NASNet:Learning Transferable Architectures for Scalable Image Recognition以模块为单位进行，模型是维度变化的技术
最新发布
白水空空
01-21 1266
这篇论文由Google Brain团队撰写，主要研究如何通过神经架构搜索（NAS）直接在数据集上学习模型架构。论文的核心贡献是设计了一个新的搜索空间（NASNet搜索空间），使得在小数据集上学习到的架构可以迁移到更大的数据集上。这篇文章提出了在小数据（CIFAR-10）上学习一个网络单元（Cell），然后通过堆叠更多的这些网络单元的形式将网络迁移到更复杂，尺寸更大的数据集上面。因此这篇文章的最大贡献便是介绍了如何使用强化学习学习这些网络单元。
《Learning Transferable Architectures for Scalable Image Recognition》翻译
ShaneneD的博客
04-14 1868
原文：https://arxiv.org/abs/1707.07012Learning Transferable Architectures for Scalable Image RecognitionBarret ZophGoogle Brainbarretzoph@google.comAbstractDeveloping neural network image classification ...
Learning Transferable Architectures for Scalable image recognition
liguandong
03-19 3503
Learning Transferable Architectures for Scalable image recognition 网络结构设计 Abstract: As this approach is expensive when the dataset is large,we propose to search for an architectural building block o...
NLP论文笔记1：Neural Architectures for Named Entity Recognition
老笨妞
12-26 6931
看这一篇论文的主要目的是看BILSTM-CRF模型，对于实际应用，CRF看分词、BILSTM-CRF做NER，接下来通过BILSTM-CNN-CRF做序列标注，NLP几个基本的应用也差不多了，句法分析貌似比较复杂，留作以后吧。********************开始论文吧****************一.叙述命名实体识别一直是更具挑战性的NLP应用，为什么更具挑战呢？原因有两方面，一方面，可用
自学网络结构（二）：Learning Transferable Architectures for Scalable Image Recognition
AI之路
11-13 5726
论文：Learning Transferable Architectures for Scalable Image Recognition 链接：https://arxiv.org/abs/1707.07012Google Brain的作品，关于用神经网络学习另一个神经网络的结构。我们知道现在图像分类、检测算法的优劣很大一部分取决于网络结构的设计，最近今年比较优秀的分类网络结构比如VGG，ResN
NASNet学习笔记
热门推荐
xjz18298268521的博客
01-16 3万+
NASNet总结 论文：《Learning Transferable Architectures for Scalable Image Recognition》 注   先啥都不说，看看论文的实验结果，图1和图2是NASNet与其他主流的网络在ImageNet上测试的结果的对比，图3是NASNet迁移到目标检测任务上的检测结果，从这图瞬间感觉论文的厉害之处了，值得阅读好几篇。
《Neural Architectures for Named Entity Recognition》paper notes
Amy_mm的博客
08-14 1225
《Neural Architectures for Named Entity Recognition》 摘要 为了从有监督的比较小的训练词典中有效学习，最好的命名实体识别系统（named entity recognition）的实现很大部分依赖于手工标注的特征（features）和领域知识（domain-specific knowledge）。 本论文介绍两个新的网络架构，一个是基于双向ls...
【论文笔记】Neural Architectures for Named Entity Recognition
bolyus的博客
04-26 711
NER的深度学习方法：最经典最state-of-the-art的模型就是LSTM+CRF 本文最大的特点是应用pre-trained word embedding，以及character-based word embedding，更好的捕捉到了形态和正交的信息。 以下是CRF层训练模型，数据流动图，以及训练过程中计算scores的大致流程，在infer新的word’s label时，previ...
NAS论文笔记(使用RL进行NAS)：Learning Transferable Architectures for Scalable Image Recognition
菜到怀疑人生的博客
07-10 3400
文章目录论文主要工作定义神经网络搜索空间NASNet Search Space 论文主要工作 论文提出了一种使用强化学习自动搜索图像识别网络的方法，主要工作如下 定义了一个名为NASNet Search Space的搜索空间，使得在小数据集上训练得到的网络架构模块（注意是模块，不是整个网络架构），可以迁移到大数据集上网络架构的构建。 对Neural Architecture Search wit...
NASNet:Learning Transferable Architectures for Scalable Image Recognition 学习可伸缩的图像识别的可转移架构
Cinderella___的博客
11-29 525
1,说明 神经网络图像分类模型的建立通常需要大量的结构工程。此篇论文研究了一种在感兴趣的数据集上直接学习模型体系结构的方法.由于这种方法在数据集较大时开销较大，因此作者建议在小数据集上搜索架构构建块，然后将该块转移到更大的数据集。 这项工作的关键贡献是一个新的搜索空间(称之为“NASNet搜索空间”)的设计，它支持可转移性。实验中，在CIFAR-10数据集上搜索最佳的卷积层(或“单元”)...
learning transferable optimizers
12-23
学习可传递的优化器是指通过学习来构建一种能够适用于不同问题和领域的优化器。传统的优化算法通常需要对特定问题进行调优和适应，而学习可传递的优化器则可以通过学习来获取一种更加通用的优化策略，从而能够在不同的问题上表现良好。 学习可传递的优化器的优点包括可以减少对超参数的依赖性，减少调参的时间成本和提高优化器的性能。通过学习来构建优化器，可以使得优化器更加适应不同的数据和问题特性，从而提高了泛化性能。此外，学习可传递的优化器还可以通过迁移学习的方式，将在一个领域学习到的知识迁移到其他领域中，从而更好地适应不同的问题。 传统的优化算法通常需要手动调整多个超参数，而学习可传递的优化器可以通过学习来自动地调整这些超参数，从而减少了人工调参的成本。通过自动化地调参和构建更加通用的优化器，可以提高训练模型的效率和性能，从而对于大规模的数据和复杂的模型具有很大的意义。 总的来说，学习可传递的优化器是一种通过学习来构建的更加通用和适应性更广泛的优化器，它可以减少调参的成本，提高泛化性能，适应不同的问题和数据领域，从而对于优化算法和机器学习模型训练具有重要的意义。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值