TensorFlow Docker生产环境使用说明

综述

TensorFlow 生产环境即 TensorFlow Serving

可以将训练好的模型以接口形式发布

启动TF Serving Docker

docker run --name [your docker name] --runtime=nvidia -p [主机端口]:8501 --mount type=bind,source=[模型存放路径]/[模型文件夹名],target=/models/[模型文件夹名] -e MODEL_NAME=[your model name] -t tensorflow/serving:1.10.1-gpu &

测试模型RESTful API

curl -d ‘{“instances”: [1.0, 2.0, 5.0]}’
-X POST http://localhost:8501/v1/models/half_plus_two:predict

获得结果

{
“predictions”: [2.5, 3.0, 4.5
]
}