MindSpore Serving与TGI框架 の 对比

一、MindSpore Serving

MindSpore Serving是一款轻量级、高性能的服务工具，帮助用户在生产环境中高效部署在线推理服务。

使用MindSpore完成模型训练>导出MindSpore模型，即可使用MindSpore Serving创建该模型的推理服务。

MindSpore Serving包含以下功能：

• 支持自定义关于模型的预处理和后处理，简化模型的发布和部署。

• 支持batch功能，包含多个实例的请求会被拆分组合以满足模型batch size的需要。

• 支持分布式模型推理功能。

• 支持客户端gRPC接口，提供简单易用的客户端Python封装接口。

• 支持客户端RESTful接口。

部署Serving推理服务

• serving_server.py为启动服务脚本文件。
• xxx.mindir为上一步网络生成的模型文件。
• servable_config.py为模型配置文件：定义了模型的处理函数。

启动服务

执行serving_server.py，完成服务启动：

import os
import sys
from mindspore_serving import server


def start():
    servable_dir = os