leo0308的博客

读到一个用NAS做量化压缩的专利， 分享一下。0 引言量化位宽过小， 精度损失可能比较大， 量化位宽过大， 压缩效果不明显。 如何权衡精度与压缩效率， 是量化压缩算法要解决的核心问题。1 方法介绍这个文章的思路非常简单， 就是采用Darts的方式搜索每一个卷积层和全连接层的量化位宽。首先对每一个要搜索的层， 建立多个不同量化位宽的层， 不同量化位宽的层以一定的系数进行加权求和， 替换原有的层， 这样就组成了一个超网；然后把加权系数作为超网的结构参数， 对结构参数和网络权重参数进行交替训练更新参数

1 实验介绍2 代码实现from torchvision.models.resnet import resnet18, resnet50import torchfrom torchvision.transforms import transformsimport torchvision.datasets as dstfrom torch.optim import Adamfrom torch.nn import CrossEntropyLossimport torch.nn.function

1背景深度学习在很多领域都取得了巨大的成功， 但是计算代价却非常昂贵，通常需要高性能的GPU进行计算。随着智能手机等小型化智能终端设备的不断发展， 在端侧设备上部署深度学习模型的需求也越来越强烈。然而当前的深度学习模型通常很大以至于难以部署到端侧设备上， 一个很自然的想法就是想办法减小模型的大小， 这就是当前模型压缩的出发点。知识蒸馏是模型压缩中一种常用的手段。有人可能会说， 既然先找到一个大模型， 在从大模型压缩到小模型， 不是多此一举吗， 为什么不能一开始就设计一个小模型呢？这是因为直接找到一个性能