shura的技术空间

看过NAS的同学都知道，之前神经网络结构搜索使用的都是强化学习或者进化算法来搜索，当然PNAS是之后的事情，因为动作空间是离散的，在全局搜索神经网络架构十分耗费资源，而DARTS这篇文章用了数学方法，巧妙地将搜索空间用概率的方式转化为了连续可微形式，然后使用梯度的下降来搜索网络结构。---------------------------------------------------------...

ProxylessNAS 是MIT韩松教授组发表在ICLR2019上的一篇论文，是对NAS方法的进一步补充和优化。简介Neural Architecture Search (NAS) 是目前在自动搜索神经网络结构的重要算法，然而NAS的使用却需要大量算力的支撑（104GPUhours10^4 GPU hours104GPUhours），在大规模数据集（ImageNet 1000）上应用难度会更...

这篇论文仍然是基于通道裁剪，发表在ICCV 2019 ，这篇文章思路同样是想要使用AutoML的思想去自动裁剪调整出合适的网络，使用元学习的方法根据剪枝策略直接产生对应的权重，然后使用进化算法来搜索得到最优的剪枝策略。

本篇论文来源于CVPR2019的oral，主要提出了一种基于几何中心剪枝的模型压缩方法，文章分析了基于范数阈值裁剪的局限性，提出了FPGM的裁剪方式，并经过实验验证证明了FPGM算法更加有效。

论文：https://arxiv.org/abs/1707.06168源码：https://github.com/yihui-he/channel-pruning本篇论文来自ICCV2017年的论文，是旷世的工作。因为之复现AMC的论文发现源码中使用了权重重构 （weight reconstruction）的方法，于是乎查了出处发现来源于这篇论文。本文的思想算是channel prune早...

本篇论文是MIT韩松老师组提出的一种模型压缩方法，其核心思想是使用强化学习技术来实现自动化压缩模型。目前对于领域问题的解决方案通常采取人工压缩模型，手工压缩方法需要相关领域的专家知识，需要人工在推理速度，大小与准确率之间权衡，因此人工压缩难以得到最优的压缩策略。与人工设计模型相比使用强化学习的产生压缩策略从数据出发能够找到更合适的压缩策略。