hzhj的博客

warmup是通过模型启动时加载${model}/${version}/assets.extra/tf_serving_warmup_requests达到热启动的目的。 如下为基于inception模型的warmup生成程序。 import tensorflow as tf from tensorflow_serving.apis import model_pb2 from tensorflo...

TF-TRT通过对基于tensorflow提供服务的模型进行优化后用于inference。使用方式详见examples。本文主要展示其用途及tensorrt与tensorflow间的版本对应关系。 基于saved_model.pb工作流程如下。 图片来自这里 基于freeze_graph.pb的工作流程如下。 图片来自这里 nvidia官方提供了封装好的镜像，nvcr.io/nvid...