goodluckcwl的专栏

后处理量化（Post-training Quantization）是指在模型训练完之后，直接对权重做量化，不需要重新训练模型或者用数据去Finetune。这种方式的优点是泛化性比较好，不依赖于特定的网络结构和数据，任何模型都可以使用。 2018年谷歌的量化白皮书Quantizing deep convolutional networks for efficient inference_A whitepaper对模型做了int8量化，量化的方式比较简单，但有很多实验结果可以参考，有mobilenet的量化结

深度学习发展到今天，神经网络的规模越来越大。在CV这边，大家用的模型还没那么大，Resnet 101也就不到1亿的参数。但是在NLP领域，大模型层出不穷，BERT有3.4亿参数，到了Megatron有80亿参数，而Turing NLG有170亿参数，PLUG有270亿参数，GPT3达到1750亿参数，最新的模型Switch Transformer已经高达万亿参数。压缩深度学习模型一直是研究热点。 主要的压缩手段有： 设计手工设计简明的模型结构以及NAS; 剪枝； 蒸馏； 量化 在这些技术中，个人不