Windows 是全球范围内最流行的操作系统之一,许多企业和个人用户都在使用 Windows 系统。通过在 Windows 系统上支持 LLM 的推理,许多办公软件、聊天应用等都可以受益于 LLM 的技术,为用户提供更智能、更个性化的服务。
LMDeploy 支持在 Windows 平台进行部署与使用,本文会从以下几个部分,介绍如何使用 LMDeploy 部署 internlm2-chat-1_8b 模型。
目录
LMDeploy 项目链接:https://github.com/InternLM/lmdeploy
环境配置
安装显卡驱动 & CUDA Toolkit
下载链接:
https://developer.nvidia.com/cuda-12-1-1-download-archive?target_os=Windows&target_arch=x86_64
成功安装后,打开 Powershell 后,环境变量 CUDA_PATH 不为空。