weixin_42841721的博客

谷歌的量化白皮书()绝对是模型量化入门学习的必读资料，回顾自己在量化工作中踩的一些坑，十分后悔没有提前阅读这个资料，否则对于一个刚做模型量化的小白来说，很多不必要的坑可以规避，而且更能对量化这件事有一个整体的理解。下面一起大致回顾一下这个小编认为的入门必读的文章。（文章只是对一些小编认为比较重要的部分进行介绍，更希望读者能自行再读一下原文）

模型量化知识总结

白皮书中在介绍完量化方式后，做了一些训练实验，然后得出了一些结论，以及一些测速相关的。篇幅有限，这里就不多说，只想给大家交代重点内容，其他的大家可以自行阅读。最后来到量化建议和总结。1. 模型结构设计上，不要限制激活值的范围。(比如relu比relu6好)2. 权衡好量化位宽。参数多的模型，量化鲁棒性一般会相对好一些，可以考虑更低的量化位宽，然而需要权衡，比如用30层的卷积，使用4bit的量化位宽，和10层的卷积，采用8bit的量化位宽，这个需要权衡。

至此，我们实现了伪量化算子，伪量化算子中利用伪量化方法进行参数伪量化，之后又定义了伪量化的类来实现伪量化方法。之后需要做的是，就是把原模型中的各个算子，替换成这里定义好的对应的伪量化算子，这样我们就可以实现一个插入LSQ伪量化节点的模型了，然后利用这个模型进行正常的训练，就可以进行LSQ量化感知训练了。在这个伪量化算子中，其中还有伪量化方法需要作为输入传入进行初始化的，而具体的伪量化，以及需要学习的量化参数的更新方法，则通过伪量化方法实现。对于其他的算子，比如nn.Linear，则使用类似的定义实现。