深度学习Tensorflow生产环境部署（下·模型部署篇）

最新推荐文章于 2025-03-05 17:24:04 发布

原创

最新推荐文章于 2025-03-05 17:24:04 发布 · 5.8k 阅读

31 ·

CC 4.0 BY-SA版权

深度学习Tensorflow生产环境部署（下·模型部署篇）

前一篇讲过环境的部署篇，这一次就讲讲从代码角度如何导出pb模型，如何进行服务调用。

1 hello world篇

部署完docker后，如果是cpu环境，可以直接拉取tensorflow/serving，如果是GPU环境则麻烦点，具体参考前一篇，这里就不再赘述了。

cpu版本的可以直接拉取tensorflow/serving，docker会自动拉取latest版本：

docker pull tensorflow/serving

如果想要指定tensorflow的版本，可以去这里查看：https://hub.docker.com/r/tensorflow/serving/tags/

比如我需要的是1.12.0版本的tf，那么也可以拉取指定的版本：

docker pull tensorflow/serving:1.12.0

拉取完镜像，需要下载一个hello world的程序代码。

mkdir -p /tmp/tfserving
cd /tmp/tfserving
git clone https://github.com/tensorflow/serving

tensorflow/serving的github中有对应的测试模型，模型其实就是 y = 0.5 * x + 2。即输入一个数，输出是对应的y。

运行下面的命令，在docker中部署服务：

docker run -p 8501:8501 --mount type=bind,source=/tmp/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu,target=/models/half_plus_two -e MODEL_NAME=half_plus_two -t tensorflow/serving &

上面的命令中，把/tmp/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu路径挂载到/models/half_plus_two,这样tensorflow_serving就可以加载models下的模型了，然后开放内部8501的http接口。

执行docker ps查看服务列表：

➜  ~ docker ps
CONTAINER ID        IMAGE                COMMAND                  CREATED             STATUS              PORTS                              NAMES
7decb4286057        tensorflow/serving   "/usr/bin/tf_serving…"   7 seconds ago       Up 6 seconds        8500/tcp, 0.0.0.0:8501->8501/tcp   eager_dewdney

发送一个http请求测试一下：

curl -d '{"instances": [1.0, 2.0, 5.0]}' -X POST http://localhost:8501/v1/models/half_plus_two:predict
{
    "predictions": [2.5, 3.0, 4.5
    ]
}%

2 mnist篇

由于前面的例子，serving工程下只有pb模型，没有模型的训练和导出，因此看不出其中的门道。这一部分就直接基于手写体识别的例子，展示一下如何从tensorflow训练代码导出模型，又如何通过grpc服务进行模型的调用。

训练和导出:

最低0.47元/天解锁文章

200万优质内容无限畅学