LMDeploy Windows 平台最佳实践

Windows 是全球范围内最流行的操作系统之一，许多企业和个人用户都在使用 Windows 系统。通过在 Windows 系统上支持 LLM 的推理，许多办公软件、聊天应用等都可以受益于 LLM 的技术，为用户提供更智能、更个性化的服务。

LMDeploy 支持在 Windows 平台进行部署与使用，本文会从以下几个部分，介绍如何使用 LMDeploy 部署 internlm2-chat-1_8b 模型。

目录

环境配置

安装显卡驱动 & CUDA Toolkit

安装 LMDeploy

下载模型

命令行 CLI

pipeline

服务化

服务端：

客户端：

FAQ

---

LMDeploy 项目链接：https://github.com/InternLM/lmdeploy

 

环境配置

安装显卡驱动 & CUDA Toolkit

下载链接：

https://developer.nvidia.com/cuda-12-1-1-download-archive?target_os=Windows&target_arch=x86_64

成功安装后，打开 Powershell 后，环境变量 CUDA_PATH 不为空。 

 

安装 LMDeploy

conda create -n lmdeploy python=3.10
conda activate lmdeploy
pip install lmdeploy --extra-index-url https://download.pytorch.org/whl/cu121

 需要注意的是，--extra-index-url 不能省略，不然会安装 CPU 版本的 PyTorch。