VitisAI(07) 自定义模型部署

VitisAI实践:自定义模型量化与部署
本文详细介绍了使用VitisAI对自定义的TensorFlow2模型进行量化和编译的完整流程,包括数据集fashion_mnist的使用、模型训练、模型量化、模型编译以及在DPU上的推理。通过PTQ方法进行量化,保持了模型的高精度,并提供了编译模型生成xmodel文件的步骤和推理程序的编写指南。

本文以自定义模型为例,对使用VitisAI进行模型量化部署的流程进行介绍

Workflow

  • 数据集为fashion_mnist

  • 使用Tensorflow2搭建一个简单分类网络并进行训练,导出模型文件

  • 使用VitsiAI docker中的vai_q_tensorflow2工具进行模型量化和校准,得到校准模型文件

  • 使用VitisAI docker中的vai_c_tensorflow2工具进行模型编译,生成能够部署在DPU上的模型文件

  • 编写模型推理程序(Python),并将推理程序、编译后的模型文件以及测试图片导入设备中,运行推理程序进行图片分类

Train

keras内置了fashion_mnist数据集,该数据集是小尺寸商品分类数据集,由28x28的单通道灰度图构成,训练集为60000张图片,测试集为10000张图片

导入包并加载数据集

import cv2 as cv
import numpy as np
from PIL import Image
import tensorflow as tf
from tensorflow import keras
import matplotlib.pyplot as plt

fashion_mnist = keras.datasets.fashion_mnist
(train_images, train_labels)
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Wei.Studio

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值