yiran103的专栏

算力和需求的增长使得神经架构搜索（ Neural Architecture Search，NAS）重回人们的视线。NAS 可迁移性更强，能够以快速且简单粗暴的方式获得高精度模型，成为工程师手中称手的砖块。强化学习（RL）可谓 NAS 中的核武器，谷歌开启并引领该方向的工作。由初期燃烧的显卡到专用硬件，对效率的追求犹如挖矿一般。

前面介绍了强化学习方法，但屠龙刀毕竟不是人人有。梯度可微算法在保证精度可接受的前提下大幅缩短了训练周期，开启了网络结构搜索的平民化浪潮。 MobileNetV2FBNetShiftNetGumbel-SoftmaxSNASDARTSProxylessNASP-DARTSPC-DARTSDenseNAS DARTS DARTS 由 CMU 和 DeepMind 提出，最终发表在 ICLR 2019...

PDARTS 即 Progressive Differentiable Architecture Search: Bridging the Depth Gap between Search and Evaluation，是对 DARTS 的改进。DARTS 内存占用过高，训练不了较大的模型；PDARTS 将训练划分为3个阶段，逐步搜索，在增加网络深度的同时缩减操作种类。过程如下图所示： 此外，算...

PC-DARTS 仍出自华为诺亚方舟，相比前作 PDARTS 更加优雅。额外引入的一组权重参数可以提高性能。 main if not torch.cuda.is_available(): logging.info('no gpu device available') sys.exit(1) np.random.seed(args.seed) torch.cuda.se...

AnnaAraslanova/FBNet 是 FBNet 相对来说比较好的一个第三方实现。延迟测量采用 x86 处理器的结果近似。需要注意的是： PyTorch GPU 并行对输入数据有要求； 随机超网络直接使用 BN 层似乎不妥。 supernet_main_file.py train_supernet 训练随机超网络。 sample_architecture_from_the_supern...