leo0308的博客

读到一个用NAS做量化压缩的专利， 分享一下。0 引言量化位宽过小， 精度损失可能比较大， 量化位宽过大， 压缩效果不明显。 如何权衡精度与压缩效率， 是量化压缩算法要解决的核心问题。1 方法介绍这个文章的思路非常简单， 就是采用Darts的方式搜索每一个卷积层和全连接层的量化位宽。首先对每一个要搜索的层， 建立多个不同量化位宽的层， 不同量化位宽的层以一定的系数进行加权求和， 替换原有的层， 这样就组成了一个超网；然后把加权系数作为超网的结构参数， 对结构参数和网络权重参数进行交替训练更新参数

1 介绍Transformer网络取得了非常大的成功并具有广泛的应用。 然而由于它巨大的计算代价，使得部署到手机等端侧设备面临巨大的挑战。在评估Transformer网络的效率时有两个常见的陷进： 1） FLOPs不能反映真实的时延； 2）不同硬件偏好不同的Transformer结构。上图表明， 在一个硬件上表现好的网络在另一个硬件上表现反而不好。上图表明： 1）FLOPs在lateny并不完全是线性关系； 2）不用硬件的影响因素不同。受NAS成功的启发， 我们提出了搜索硬件感知的Transf

paper: ProxylessNAS: Direct Neural Architecture Search on Target Task and Hardwarecode: https://github.com/MIT-HAN-LAB/ProxylessNAS1 动机传统的NAS算法非常耗费GPU 计算资源， 因此通常无法直接在大型的目标任务上直接进行搜索， 一般都是在小型的代理任务上进行搜索， 搜索的结果直接迁移到目标任务上。但这种迁移无法保证在目标任务上是最优的。代理任务一般包括：1）在

论文： KNAS: Green Neural Architecture Search代码：https://github.com/Jingjing-NLP/KNAS0 引言这篇工作的最大亮点是可以不进行训练的情况下做NAS（神经网络架构搜索）。NAS可以分为3个主要部分， 搜索空间， 搜索算法（或者叫优化算法）， 以及评估。 其中评估这个过程一般需要依赖训练， 所以最为耗时。如何减少这一部分耗时， 有许多的改进方向。 其中一个分支研究的是无评估的NAS搜索， 如DART，但是效果不太好； (这一部分的