weixin_42291498的博客

原创 ubuntu+RTX5090+CUDA12.8编译vllm启动本地模型

本文详细介绍了在Linux系统上安装Python 3.12.10、创建虚拟环境、安装PyTorch及相关依赖、卸载并安装特定版本的NCCL库、下载并编译vLLM项目源码，以及启动vLLM服务的完整流程。首先，通过命令行安装Python依赖项并编译源码。接着，使用venv模块创建并管理Python虚拟环境。随后，安装适用于RTX 5090显卡的PyTorch版本，并卸载自动安装的NCCL库，手动安装指定版本的NCCL。然后，下载vLLM项目源码并进行编译，确保使用正确的NCCL版本。