Multi Model Server 使用教程

Multi Model Server 使用教程

multi-model-server Multi Model Server is a tool for serving neural net models for inference 项目地址: https://gitcode.com/gh_mirrors/mu/multi-model-server

1. 项目介绍

Multi Model Server（MMS）是一个灵活且易于使用的工具，用于为使用任何机器学习或深度学习框架训练的模型提供服务。它能够通过命令行界面（CLI）或预配置的Docker镜像启动服务，设置HTTP端点以处理模型推理请求。

2. 项目快速启动

在开始之前，请确保您的系统满足以下先决条件：

• 操作系统：Ubuntu、CentOS或macOS（Windows支持为实验性）
• Python：Multi Model Server 需要Python来运行工作进程。
• pip：pip是一个Python包管理系统。
• Java 8：Multi Model Server 需要Java 8来启动。

以下是基于Python 2.7的虚拟环境安装和启动MMS的步骤：

# 创建虚拟环境
pip install virtualenv
virtualenv -p /usr/local/bin/python2.7 /tmp/pyenv2

# 激活虚拟环境
source /tmp/pyenv2/bin/activate

# 安装MXNet（根据您的需要选择CPU或GPU版本）
pip install mxnet-mkl  # CPU推理
# 或者
pip install mxnet-cu92mkl  # GPU推理

# 安装Multi Model Server
pip install multi-model-server

安装完成后，可以通过以下命令启动MMS服务器，并加载一个模型：

# 启动MMS并加载模型
multi-model-server --start --models squeezenet=https://s3.amazonaws.com/model-server/model_archive_1.0/squeezenet_v1.1.mar

3. 应用案例和最佳实践

以下是一个使用MMS服务的简单示例，用于对象分类：

1. 使用curl下载一张猫的图片：

curl -O https://s3.amazonaws.com/model-server/inputs/kitten.jpg

2. 将图片发送到MMS的预测端点：

curl -X POST http://127.0.0.1:8080/predictions/squeezenet -T kitten.jpg

预测端点将返回一个JSON格式的预测响应，类似于以下结果：

[
  {
    "probability": 0.8582232594490051,
    "class": "n02124075 Egyptian cat"
  },
  {
    "probability": 0.09159987419843674,
    "class": "n02123045 tabby, tabby cat"
  }
  // 更多分类结果...
]

4. 典型生态项目

MMS作为一个模型服务工具，可以与多种机器学习框架和工具集成，以下是一些典型的生态项目：

• TensorFlow Serving：用于TensorFlow模型的类似服务工具。
• MXNet Model Server：专门为MXNet框架设计的模型服务器。
• ONNX Runtime：用于ONNX模型的推理引擎。

这些项目为开发者提供了丰富的选择，可以根据具体需求和服务环境选择最合适的工具。

multi-model-server Multi Model Server is a tool for serving neural net models for inference 项目地址: https://gitcode.com/gh_mirrors/mu/multi-model-server