【项目实战课】基于ncnn框架与KL散度的8bit对称模型量化与推理实战-优快云博客

欢迎大家来到我们的项目实战课，本期内容是《基于ncnn框架与KL散度的8bit对称模型量化与推理实战》。

所谓项目实战课，就是以简单的原理回顾+详细的项目实战的模式，针对具体的某一个主题，进行代码级的实战讲解，可以采用直播或者录制视频的形式。与我们其他的系统性理论+实战的视频课专栏相比，每一次项目实战都由独立的老师完成，课程更加专注、时长更短、更轻量级，适合快速锻炼项目能力。

本次课程内容

模型优化是模型能够在各类嵌入式平台使用的关键技术，包括紧凑模型设计，模型剪枝，模型量化，模型蒸馏，自动化模型设计等内容。

其中8bit模型量化是最为常见的训练后模型优化步骤，也是在Tensorflow等训练框架，TensorRT，NCNN等推理框架中非常成熟的模块。

在8bit模型量化中，NVIDIA提出的基于KL散度的对称8bit量化方案是主流的方案。

为了加深对该方法的理解，本次开设了基于ncnn框架和KL散度的8bit模型量化与推理实战，详解其原理与实现，本次课程经过剪辑后的总时长约为130分钟，各部分课程内容与时长如下：

部分	内容	时长(分钟)
第1节	基于KL散度的8bit量化原理	22
第2节	量化校准表生成	36
第3节	ncnn框架简介	14
第4节	ncnn模型转换	10
第5节	ncnn模型量化与推理	45

下面我们来简单看一下各部分的内容：

第1部分：基于KL散度的8bit量化原理，介绍该8bit量化方案的技术原理，本部分内容可以免费收听。

第2部分：量化校准表生成，详细解读基于Python的量化校准表生成代码细节。

第3部分：ncnn框架简介，包括ncnn框架的特性，编译与安装，本部分内容可以免费收听。

第4部分：ncnn框架模型转换，将Caffe，MxNet，DarkNet，ONNX等框架的模型，转化为ncnn框架格式的模型，包括*.param+*.bin两个文件。如caffe.param，caffe.bin表示从Caffe训练用的prototxt和caffemodel转换后的结果，其他框架类同。

第5部分：讲解如何使用ncnn生成量化校准表，进行模型量化，C++推理，并比较量化前后模型的大小和推理结果。

下图展示了量化前后模型的大小以及推理结果对比：

可以看出8位量化后权重caffe_int8.bin只有量化前32位float型caffe.bin文件大小的1/4。从推理结果来看，同一幅图的量化前与量化后模型虽然预测概率略有差别，但是仍然可以获得正确的推理结果，说明量化有精度损失，但是不影响功能正确。

本次课程为录播课程，讲师为言有三，技术社区《有三AI》创始人。

先后就读于华中科技大学(2008-2012)，中国科学院半导体研究所神经网络实验室(2012-2015)，先后就职于奇虎360人工智能研究院(2015.7-2017.5)，陌陌科技深度学习实验室(2017.5-2019.3)，深度学习算法专家，阿里云MVP，华为云MVP。

拥有超过7年的计算机视觉从业经验，拥有丰富的传统图像算法和深度学习计算机视觉项目经验，著有书籍《深度学习之图像识别：核心技术与案例实战》(机械工业出版社2019.4)，《深度学习之模型设计：核心算法与案例实践》(电子工业出版社2020.6)，《深度学习之人脸图像处理：核心算法与案例实战》(机械工业出版社2020.7)，《深度学习之摄影图像处理：核心算法与案例精粹》(人民邮电出版社2021.4)，拥有10余项发明技术专利与学术论文。

如何订阅

我们的视频课全部在小鹅通平台，可以使用手机APP鹅学习或者直接在网页进行登录，内容试听以及订阅请直接扫如下二维码：