LMDeploy项目安装指南：高效部署大型语言模型

LMDeploy项目安装指南：高效部署大型语言模型

lmdeploy LMDeploy is a toolkit for compressing, deploying, and serving LLMs. 项目地址: https://gitcode.com/gh_mirrors/lm/lmdeploy

项目概述

LMDeploy是一个专注于大型语言模型(LLMs)和视觉-语言模型(VLMs)压缩、部署和服务的Python工具库。它为开发者提供了两种核心推理引擎选择：高性能的TurboMind引擎和易用的PyTorch引擎，满足不同场景下的模型部署需求。

硬件要求

在安装LMDeploy前，请确保您的硬件环境满足以下要求：

GPU兼容性：

• Volta架构(sm70)：如V100系列
• Turing架构(sm75)：如20系列显卡、T4
• Ampere架构(sm80/sm86)：如30系列显卡、A10/A16/A30/A100
• Ada Lovelace架构(sm89)：40系列显卡

CUDA版本：

• 最低要求：CUDA 11.3
• 推荐版本：CUDA 12.x

推荐安装方式：pip安装

我们强烈推荐使用conda创建隔离的Python环境来安装LMDeploy，以避免依赖冲突。

基础安装步骤

1. 创建并激活conda环境：

conda create -n lmdeploy python=3.8 -y
conda activate lmdeploy

2. 安装LMDeploy：

pip install lmdeploy

注意：默认预构建包基于CUDA 12编译

CUDA 11.x环境安装

如果您的环境使用CUDA 11.x(≥11.3)，请使用以下命令安装兼容版本：

pip install lmdeploy-0.8.0+cu118-cp38-cp38-manylinux2014_x86_64.whl --extra-index-url https://download.pytorch.org/whl/cu118

高级安装选项

安装夜间构建版

如需体验最新开发中的功能，可以安装夜间构建版。这些版本包含尚未正式发布的最新代码变更。

从源码编译安装

对于需要深度定制或开发贡献的用户，可以从源码编译安装LMDeploy。

PyTorch引擎安装

仅使用PyTorch引擎时，安装过程较为简单：

git clone 项目仓库地址
cd lmdeploy
pip install -e .

TurboMind引擎安装

如需使用高性能的TurboMind引擎，推荐使用官方Docker镜像进行编译：

1. 获取Docker镜像：

docker pull openmmlab/lmdeploy:latest

2. 克隆源码并启动容器：

docker run --gpus all --net host --shm-size 16g -v $(pwd):/opt/lmdeploy --name lmdeploy -it openmmlab/lmdeploy:latest /bin/bash

3. 在容器内编译安装：

cd /opt/lmdeploy
mkdir -p build && cd build
bash ../generate.sh make
make -j$(nproc) && make install
cd ..
pip install -e .

版本选择建议

• 生产环境：使用官方发布的稳定版本
• 开发测试：可考虑夜间构建版获取最新功能
• 性能优化：推荐使用TurboMind引擎的编译安装方式

常见问题

1. CUDA版本不匹配：确保安装的LMDeploy版本与本地CUDA版本兼容
2. GPU架构不支持：检查您的GPU是否在兼容列表中
3. 内存不足：编译时建议分配足够的共享内存(--shm-size参数)

通过以上步骤，您应该能够成功安装LMDeploy并开始您的LLM/VLM模型部署之旅。根据您的具体需求选择合适的安装方式，平衡易用性与性能需求。

lmdeploy LMDeploy is a toolkit for compressing, deploying, and serving LLMs. 项目地址: https://gitcode.com/gh_mirrors/lm/lmdeploy