Multi-Model-Server 安装与配置指南

Multi-Model-Server 安装与配置指南

multi-model-server Multi Model Server is a tool for serving neural net models for inference 项目地址: https://gitcode.com/gh_mirrors/mu/multi-model-server

1. 项目基础介绍

Multi-Model Server（MMS）是一个灵活且易于使用的工具，用于为使用任何机器学习或深度学习框架训练的模型提供推断服务。它能够设置 HTTP 端点以处理模型推断请求，支持多种模型和服务部署。

主要编程语言：Python

2. 项目使用的关键技术和框架

• MXNet：用于模型训练和推断的深度学习框架。
• Netty：一个提供异步和事件驱动的网络应用程序框架，用于快速开发高性能、高可靠性的网络服务器和客户端程序。
• Docker：容器化技术，用于打包和运行应用。

3. 项目安装和配置的准备工作与详细步骤

准备工作

在开始安装之前，请确保您的系统满足以下要求：

• 操作系统：Ubuntu、CentOS 或 macOS（Windows 支持为实验性）
• Python：MMS 需要 Python 来运行工作进程。
• pip：Python 包管理工具。
• Java 8：MMS 需要 Java 8 来启动。根据您的操作系统安装 Java 8。

安装 Java 8

• Ubuntu:

  sudo apt-get install openjdk-8-jre-headless
  

• CentOS:

  sudo yum install java-1.8.0-openjdk
  

• macOS:

  brew tap homebrew/cask-versions
  brew update
  brew cask install adoptopenjdk8
  

安装步骤

步骤 1：设置虚拟环境

建议在虚拟环境中安装和运行 Multi-Model Server。这样可以隔离依赖关系，便于管理。

1. 安装 virtualenv：

   pip install virtualenv
   

2. 创建虚拟环境：

   # 假设我们要在 /usr/local/bin/python2.7 上运行 Python 2.7
   virtualenv -p /usr/local/bin/python2.7 /tmp/pyenv2
   

3. 激活虚拟环境：

   source /tmp/pyenv2/bin/activate
   

步骤 2：安装 MXNet

MMS 默认不会安装 MXNet 引擎。如果您的虚拟环境中还没有安装，请根据您的需求安装以下 MXNet pip 包：

• CPU 推断：

  pip install mxnet-mkl
  

• GPU 推断：

  pip install mxnet-cu92mkl
  

步骤 3：安装 Multi-Model Server

1. 安装最新版本的 Multi-Model Server：

   pip install multi-model-server
   

2. 如果从以前的版本升级，请参考迁移文档。

注意事项：

• 安装 Multi-Model Server 时会自动安装一个最小版本的 model-archiver 作为依赖。
• 更多安装选项和故障排除，请参考高级安装页面。

通过以上步骤，您应该能够成功安装 Multi-Model Server 并准备好进行配置和部署。

multi-model-server Multi Model Server is a tool for serving neural net models for inference 项目地址: https://gitcode.com/gh_mirrors/mu/multi-model-server