Tensorflow Serving实战 搭建第一个推理模型（一）

开发环境

• Ubuntu 18.x
• Docker 18.x
• Tensorflow 1.x

获取 tensorflow/serving镜像

先pull镜像

docker pull tensorflow/serving

然后用命令查看拉取的镜像

docker image ls

看到本地已经有了一个tensorflow的镜像。

git serving仓库

mkdir work
cd work
git clone https://github.com/tensorflow/serving

执行完成后，会在work目录下有个serving文件夹。

部署half_plus_two模型

# 定位half_plus_two的位置
TESTDATA="$(pwd)/serving/tensorflow_serving/servables/tensorflow/testdata"
# 开启容器
docker run -t --rm -p 8501:8501 \
    -v "$TESTDATA/saved_model_half_plus_two_cpu:/models/half_plus_two" \
    -e MODEL_NAME=half_plus_two \
    tensorflow/serving &
#使用mount命令也行，但是在mount命令需要docker 版本大于 17.06
docker run -p 8501:8501 \
  --mount type=bind,source=$TESTDATA/saved_model_half_plus_two_cpu,target=/models/half_plus_two \
  -e MODEL_NAME=half_plus_two-t tensorflow/serving

测试模型

curl -d '{"instances": [1.0, 2.0, 5.0]}' \
    -X POST http://localhost:8501/v1/models/half_plus_two:predict