Tensorflow 2.x 模型-部署与实践

在《基于TensorFlow Serving的YOLO模型部署》文章中有介绍tensorflow 1.x版本的模型如何利用TensorFlow Serving部署。本文接着上篇介绍tensorflow2.x版本的模型部署。

工作原理

架构图

**核心概念 **

**⑦ ServableHandler:**servable实例，用于处理client发送的请求

servable的生命周期：

● 一个Source插件会为一个特定的version创建一个Loader。该Loaders包含了在加载Servable时所需的任何元数据

● Source会使用一个callback来通知该Aspired Version的Manager

● 该Manager应用该配置过的Version Policy来决定下一个要采用的动作，它会被unload一个之前已经加载过的version，或者加载一个新的version

● 如果该Manager决定它是否安全，它会给Loader所需的资源，并告诉该Loader来加载新的version

● Clients会告知Manager，即可显式指定version，或者只请求最新的version。该Manager会为该Servable返回一个handle

Tensorflow 2.x 模型部署

TF serving环境准备

Tensorflow Serving环境最简单的安装方式是docker镜像安装。

docker pull tensorflow/sering:last

sudo apt-get install -y nvidia-docker2

docker pull tensorflow/serving:latest-devel-gpu

模型保存—savedmodel

Tensorflow 2.x模型有以下几种格式：

model.save_weights(“./xxx.ckpt” , save_format=”tf”)

model.save(“./xxx.h5”)
model.save_weights(“./xxx.h5”, save_format=”h5”)

model.