17、使用TF Serving将TensorFlow模型投入生产

使用TF Serving将TensorFlow模型投入生产

1. 保存模型

首先，我们需要保存训练好的模型。以下是保存模型的代码示例：

tfs, [tf.saved_model.tag_constants.SERVING],
signature_def_map={
    'predict_images': prediction_signature,
    DEFAULT_SERVING_SIGNATURE_DEF_KEY:
        classification_signature,
},
legacy_init_op=legacy_init_op)
builder.save()

当我们看到以下输出时，说明模型已成功保存：

accuracy=0.92979997
INFO:tensorflow:No assets to save.
INFO:tensorflow:No assets to write.
INFO:tensorflow:SavedModel written to:
b'/home/armando/models/mnist/1/saved_model.pb'

2. 使用TF Serving服务模型

2.1 启动ModelServer

要启动ModelServer，执行以下命令：

$ tensorflow_model_server -