weixin_44312422的博客

MobileNet网络是由google团队在2017年提出的，专注于移动端或者嵌入式设备中的轻量级CNN网络。相比传统卷积神经网络，在准确率小幅降低的前提下大大减少模型参数与运算量。(相比VGG16准确率减少了0.9%，但模型参数只有VGG的1/32)。MobileNet网络最大的优势在于其轻量化，也就是大幅度减少的运算量和参数数量优点。

CUDA的全称是Computer Unified Device Architecture（计算机统一设备架构），它是NVIDIA在2007年推向市场的并行计算架构。CUDA作为NVIDIA图形处理器的通用计算引擎，提供给我们利用NVIDIA显卡进行GPGPU（General Purpose Graphics Process Unit）开发的全套工具。

首先使用int8的输入与int8的权重相乘，得到int32的输出，然后强制转换为float32，并将float32的偏置乘上缩放因子与前面计算得到的float32数值进行相加，然后激活，最后再将float32转为int8。动态量化：对于动态量化，缩放因子（Scale）和零点（Zero Point）是在推理时计算得到的，并且特定用于每次激活，优点是准确率更高，缺点是带来了额外的计算开销，一般常用于RNN，transform的模型中量化方式；定义：将大模型的知识迁移到小模型上，来提升小模型的精度。