TensorFlow Serving MultiInference 详解

最新推荐文章于 2024-05-13 14:11:20 发布

原创

最新推荐文章于 2024-05-13 14:11:20 发布 · 687 阅读

0 ·

CC 4.0 BY-SA版权

本文详细介绍了TensorFlow Serving的MultiInference功能，重点讲解如何使用该特性来同时请求多个模型。虽然相关pb定义包含了多个模型的信息，但实际上在实现中只会调用第一个模型，这一限制在实际应用中可能显得不足。

TensorFlow Serving MultiInference 详解

TensorFlow Serving PredictionService 支持以下 rpc 请求：

 15 service PredictionService {
 16   // Classify.
 17   rpc Classify(ClassificationRequest) returns (ClassificationResponse);
 18
 19   // Regress.
 20   rpc Regress(RegressionRequest) returns (RegressionResponse);
 21
 22   // Predict -- provides access to loaded TensorFlow model.
 23   rpc Predict(PredictRequest) returns (PredictResponse);
 24
 25   // MultiInference API for multi-headed models.
 26   rpc MultiInference(MultiInferenceRequest) returns (MultiInferenceResponse);
 27
 28   // GetModelMetadata - provides access to metadata for loaded models.
 29   rpc GetModelMetadata(GetModelMetadataRequest)
 30       returns (GetModelMetadataResponse);
 31 }

这里主要介绍 MultiInference 这个 rpc。MultiInference 是使用一份数据请求多个模型的 rpc。

相关 pb 定义如下：