tensorflow伪量化

tensorflow量化
这个链接里面解决了很多问题https://www.tensorflowers.cn/t/7136
这是社区Zongjun对一些问题的解答：
用toco生成的量化有两个途径：
1.提到的伪量化，这个确实在training时要调用你说的这两句。具体展开：要生成两个graph,一个用于training，在compute gradients前使用create_training_graph,因为forward和backward都需要模拟量化。这个过程其实是找到需要量化的变量，插入fake quantization nodes 来记录 min-max range information。再具体一点：见（*）。另一个graph用于eval，要在import_graph_def后，saver.restore前插入create_eval_graph。后面如何freeze如何调用toco，按照这个链接上说的即可：https://github.com/tensorflow/te…ow/contrib/quantize
2. post-training quantization。顾名思义，无需伪量化，是toco拿过来一个pb file,直接把toco的post-training quantization flag设成true完成的。但是注意，这个方法只quantize weights,而1.是一个fully quantized model. 并且2.在inference时，会把uint8的weights再转换回float32来做矩阵乘法。所以，2.这个方法其实依然相当于没做quantization。它的存在应当只是便于用户转移model，计算时依然是个非量化model。链接：https://www.tensorflow.org/performance/post_training_quantization

量化的两篇论文
谷歌原文：https://arxiv.org/abs/1712.05877
qualcomm论文：https://arxiv.org/abs/1803.08607

关于伪量化其中讲得比较详细得两篇博客
https://blog.youkuaiyun.com/angela_12/article/details/85000072
https://blog.youkuaiyun.com/u012101561/article/details/86321621#commentsedit
————————————————
版权声明：本文为优快云博主「songxaiohong」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.youkuaiyun.com/songxiaoxiaosong/article/details/96424739