pprp的博客

【GiantPandaCV导语】本文介绍的如何更好地集成教师网络，从而更好地提取知识到学生网络，提升学生网络的学习能力和学习效率。从方法上来讲是模型集成+神经网络结构搜索+知识蒸馏的综合问题，在这里使用简单的NAS来降低教师网络与学生网络之间的差距。背景介绍解决的问题？希望从集成的教师网络中提取知识到学生网络，从而提升学习能力和学习效率。model ensemble + NAS + KDMotivation: This is motivated by the fact that kno

Bag of Tricks for Neural Architecture Search【GiantPandaCV导语】相比于普通的分类网络，基于超网的NAS更加难以训练，会出现收敛效果较差甚至不收敛的情况。并且，基于超网的NAS还需要额外关注子网的排序一致性等问题，训练策略的选择也极为重要。AutoSlim, BigNAS等文章都花费了大量篇幅来讲解超网的训练技巧。本文是CVPR2021 Workshop中的一篇短文，作者单位是de bosch，介绍了NAS中常用的trick。1. 介绍NAS在很

【神经网络搜索】NasBench301 使用代理模型构建Benchmark【GiantPandaCV导语】本文介绍的是NAS中的一个benchmark-NASBench301, 由automl.org组织发表，其核心思想是针对表格型基准存在的不足提出使用代理模型拟合架构与对应准确率。Paper: NAS-Bench-301 and The case for surrogate benchmarks for Neural Architecture SearchCode: https://github.c

【GiantPandaCV导语】本文介绍的是韩松团队针对欠拟合问题提出的一种解决方案，在代价可接受范围内能够提升小模型的性能。引入专用于解决小型网络模型欠拟合 带来的问题，通过引入更大的模型包围住小模型从而得到额外的监督信息。欠拟合情况下使用正则化方法进行处理会导致性能更差。NetAug适用场景：数据集量比较大模型参数量相对而言比较小由于模型容量有限导致的欠拟合问题问题明确与知识蒸馏区别：知识蒸馏相当于学习一个soft label(或者说learned label s

【GiantPandaCV导语】知识蒸馏结合NAS的一篇工作，提出了DNA，让教师网络来指导超网的学习。这个工作将知识蒸馏非常深入的融合在一起，有很强的创新性，已被CVPR20接收。1. 背景介绍知识蒸馏通常作为One-Shot NAS中的一个训练技巧，但是他起到非常大的作用。简便起见，知识蒸馏在这里被分为四类：基于softmax输出层的知识蒸馏基于中间层的知识蒸馏基于相关性知识的知识蒸馏基于GAN的知识蒸馏第一个基于softmax输出层的知识蒸馏是最传统的，Hinton

【GiantPandaCV导语】这篇是Slimmable Network三部曲之后的续作，提出了Single-Stage的超网训练方法，在更大的搜索空间中，提出了很多训练的Trick来提升训练效果以及稳定训练过程。0. InfoTitle: BigNAS: Scaling Up Neural Architecture Search with Big Single-Stage ModelsAuthor: Jiahui Yu, Pengchong Jin, Hanxiao Liu, Gabriel Ben

【GiantPandaCV导语】这篇是MIT韩松实验室发布的文章，是第一个直接在ImageNet上进行搜索的NAS算法，并且提出了直接在目标硬件上对latency进行优化的方法。相比于同期算法NASNet、MnasNet等，搜索代价降低了200倍。0. InfoTitle: ProxylessNAS: Direct Neural Architecture Search On Target Task and HardwareAuthor: MIT韩松团队Link: https://arxiv.org/

ICLR 2021 Workshop 接收Measuring Uncertainty through Bayesian Learning of Deep Neural Network StructureZhijie Deng, Yucen Luo and Jun Zhu PDFAutoHAS: Efficient Hyperparameter and Architecture SearchXuanyi Dong, Mingxing Tan, Adams Yu, Daiyi Peng, Bog

Neural Architecture Search with Random LabelsLandmark Regularization: Ranking Guided Super-Net Training in Neural Architecture SearchAttentiveNAS: Improving Neural Architecture Search via AttentiveFBNetV3: Joint Architecture-Recipe Search Using Predict.

1. INFOTitle: SMASH: One-Shot Model Architecture Search through HyperNetworksAuthor: Andrew Brock, Theodore Lim, & J.M. RitchieLink: https://arxiv.org/pdf/1708.05344.pdfDate: ICLR 2018 PosterCode:https://github.com/ajbrock/SMASH2. Motivation高性能

文章目录[1] 信息检索语言[2] 信息检索技术[3] 信息检索工具[4] 信息检索流程[1] 信息检索语言信息检索语言是用于描述信息系统中的信息的内容特征，常见的信息检索语言包括分类语言和主题语言。就神经网络架构搜索这个问题来说，最好选择主题语言，可以通过借助自然语言，更具有直观性和概念唯一性。而主题语言分为关键词语言和纯自然语言。选用关键词语言就要挑选神经网络架构搜索的关键词，表征文献主题内容具有实质意义的词语，不要将冠词、介词、副词、连词作为查询的关键词。[2] 信息检索技术采用布尔逻辑检索

【GiantPandaCV导语】Once for all是韩松组非常有影响力的工作，其最大的优点是解耦了训练和搜索过程，可以直接从超网中采样出满足一定资源限制的子网，而不需要重新训练。该工作被ICLR20接收。文章目录0. Info1. Motivation2. Contribution3. Method4. Experiment5. Revisiting6. Reference0. InfoTitle: Once-for-All: Train one Network and Specialize i

Parameter ： 模型中的一种可以被反向传播更新的参数。第一种：直接通过成员变量nn.Parameter()进行创建，会自动注册到parameter中。def __init__(self): super(MyModel, self).__init__() self.param = nn.Parameter(torch.randn(3, 3)) # 模型的成员变量或者：通过nn.Parameter() 创建普通对象通过register_parameter()进行注册

【前言】Drop Path是NAS中常用到的一种正则化方法，由于网络训练的过程中常常是动态的，Drop Path就成了一个不错的正则化工具，在FractalNet、NASNet等都有广泛使用。DropoutDropout是最早的用于解决过拟合的方法，是所有drop类方法的大前辈。Dropout在12年被Hinton提出，并且在ImageNet Classification with Deep Convolutional Neural Network工作AlexNet中使用到了Dropout。原理 ：在

【GiantPandaCV导语】Google Brain提出的NAS领域的Benchmark,是当时第一个公开的网络架构数据集，用于研究神经网络架构搜索。本文首发GiantPandaCV，请不要随意转载。0. 摘要神经网络搜索近年来取得进步巨大，但是由于其需要巨大的计算资源，导致很难去复现实验。本文目标是通过引入NAS-Bench-101的方法来缓解以上问题。在NAS-Bench-101中，设计了一个紧凑且丰富的搜索空间。通过图同构的方式来区别423k个网络架构。在CIFAR10数据集上多次训练以上

【GiantPandaCV】DARTS将离散的搜索空间松弛，从而可以用梯度的方式进行优化，从而求解神经网络搜索问题。本文首发于GiantPandaCV，未经允许，不得转载。1. 简介此论文之前的NAS大部分都是使用强化学习或者进化算法等在离散的搜索空间中找到最优的网络结构。而DARTS的出现，开辟了一个新的分支，将离散的搜索空间进行松弛，得到连续的搜索空间，进而可以使用梯度优化的方处理神经网络搜索问题。DARTS将NAS建模为一个两级优化问题（Bi-Level Optimization），通过使用Gra

【GiantPandaCV导语】Neural Network Intelligence 是一个工具包，可以有效帮助用户设计并调优汲取学习模型的神经网络架构，以及超参数。具有易于使用、可扩展、灵活、高效的特点。本文主要讲NNI基础的概念以及一个训练MNIST的入门教程。本文首发于GiantPandaCV，未经允许，不得转载。1. 概述NNI有以下几个特性：易于使用：可以通过pip进行安装，通过命令行工具查看效果。可扩展：支持不同计算资源，多种计算平台，可以在不同平台并行运行。灵活：NNI内部有超参

【GiantPandaCV导语】本文介绍的是Efficient Neural Architecture Search方法，主要是为了解决之前NAS中无法完成权重重用的问题，首次提出了参数共享Parameter Sharing的方法来训练网络，要比原先标准的NAS方法降低了1000倍的计算代价。从一个大的计算图中挑选出最优的子图就是ENAS的核心思想，而子图之间都是共享权重的。1. 摘要ENAS是一个快速、代价低的自动网络设计方法。在ENAS中，控制器controller通过在大的计算图中搜索挑选一个最

谷歌最早发表的有关NAS的文章，全称Neural Architecture Search with Reinforcement Learning神经网络架构搜索经典范式是，首先通过controller以p概率采样一个网络结构，然后开始训练网络结构得到准确率R，根据准确率R和概率p可以使用梯度上升的方法更新controller的参数。在NAS-RL中，使用了Policy Gradient算法来训练controller（通常实现是一个RNN或者LSTM）。训练完采样网络后在验证集上得到的准确率就是环境反馈

【GiantPandaCV导语】混合精度是一个非常简单并且实用的技术，由百度和谷歌联合发表于ICLR2018，可以让模型以半精度的方式训练模型，既能够降低显存占用，又可以保持精度。这篇文章不是最先提出使用更低精度来进行训练，但是其影响力比较深远，很多现在的方案都是基于这篇文章设计的。1. 摘要提高网络模型的大小可以有效提升准确了，但是也增加了内存的压力和计算力的需求。本论文引入了半精度来训练深度神经网络，在不损失精度、不需要更改超参数的情况下，几乎可以减半内存占用。权重、激活、梯度都是以IEEE半精度

【GiantPandaCV导读】上一篇中，笔者翻译了国外一篇介绍Automl和NAS的博客，点这里回顾。这一篇是笔者对《A Comprehensive Survey of Nerual Architecture Search: Challenges and Solutions》这篇论文进行翻译和解读，这是2020年刚刚发到arxiv上的有关NAS的综述，内容比较多，30页152篇参考文献。对初学者来说，可以当作一个学习的目录，阅读文中提到的论文。文末用思维导图总结了整篇文章脉络，可以用来速览。【内容速览】

【GiantPandaCV导读】本文是笔者第一次进行翻译国外博客，第一次尝试，由于水平的限制，可能有的地方翻译表达的不够准确，在翻译过程中尽量还原作者的意思，如果需要解释的部分会在括号中添加，如有问题欢迎指正。本文翻译的是《Everything you need to know about AutoML and Neural Architecture Search》获得了4.8k的高赞。作者：George Seif翻译：pprp日期：2018/8/21AutoML和NAS是深度学习领域的新秀。不