本文以自定义模型为例,对使用VitisAI进行模型量化部署的流程进行介绍
Workflow
-
数据集为fashion_mnist
-
使用Tensorflow2搭建一个简单分类网络并进行训练,导出模型文件
-
使用VitsiAI docker中的vai_q_tensorflow2工具进行模型量化和校准,得到校准模型文件
-
使用VitisAI docker中的vai_c_tensorflow2工具进行模型编译,生成能够部署在DPU上的模型文件
-
编写模型推理程序(Python),并将推理程序、编译后的模型文件以及测试图片导入设备中,运行推理程序进行图片分类
Train
keras内置了fashion_mnist数据集,该数据集是小尺寸商品分类数据集,由28x28的单通道灰度图构成,训练集为60000张图片,测试集为10000张图片
导入包并加载数据集
import cv2 as cv
import numpy as np
from PIL import Image
import tensorflow as tf
from tensorflow import keras
import matplotlib.pyplot as plt
fashion_mnist = keras.datasets.fashion_mnist
(train_images, train_labels)
VitisAI实践:自定义模型量化与部署
本文详细介绍了使用VitisAI对自定义的TensorFlow2模型进行量化和编译的完整流程,包括数据集fashion_mnist的使用、模型训练、模型量化、模型编译以及在DPU上的推理。通过PTQ方法进行量化,保持了模型的高精度,并提供了编译模型生成xmodel文件的步骤和推理程序的编写指南。
订阅专栏 解锁全文
2308

被折叠的 条评论
为什么被折叠?



