Ubuntu22 LLM GPU本地开发环境搭建：4090显卡/cuda/pytorch

最新推荐文章于 2025-04-01 14:38:19 发布
原创 最新推荐文章于 2025-04-01 14:38:19 发布 · 1k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #人工智能 #python

0. 4090 显卡开箱与安装

可参考文章： https://www.toutiao.com/item/7477816734344217100/

扩展内存注意事项

机箱过来只有一条32G内存，扩展到4条32G ddr5 内存条，开机可能要等约2分钟！！！处于黑屏状态，请耐心等待。

问了下豆包： DDR5 内存模块在启动时需要进行初始化和训练，需要一些时间。

 

一. 驱动与cuda版本

建议安装相同版本，防止一名工程师调试通过的代码，到另外工程师电脑上运行报错。

  • 4090驱动：550

  • Pytorch: 2.5.1, cu211 （装pytorch时候一起装的cuda，可参考知乎文章：https://zhuanlan.zhihu.com/p/694533401）

  • CUDA Toolkit Archive: CUDA Toolkit Archive | NVIDIA Developer

最低0.47元/天 解锁文章
安装cuda报错:./cuda-installer: error while loading shared libraries: libxml2.so.2: cannot open shared ob
liu_chen_yang的博客
04-20 3720
执行安装cuda的时候，如果不是root用户记得加sudo；安装完成之后再次试一下安装cuda就可以了；
Nvidia 系列 之 在 Ubuntu 22.04 中为 LLM 设置 Nvidia GPU
iCloudEnd的博客
08-01 654
在开始安装之前，我们先来了解一下要安装的内容：Nvidia 驱动程序 — 这是 Nvidia 的硬件驱动程序。安装前请先了解您的显卡型号。CUDA 工具包 — CUDA 工具包由 Nvidia 提供。它包含 GPU 加速环境中的库、编译器、开发工具和示例、CUDA 运行时等。cuDNN — Nvidia cuDNN 以 CUDA 深度神经网络为基础。它是一个针对 DNN 计算的高度优化的 GPU 加速库。
【ubuntu20.04部署RTX4090显卡驱动和CUDA环境】
weixin_40514381的博客
09-03 6648
在Ubuntu 20.04系统上重新部署RTX 4090显卡驱动和CUDA环境的过程包括以下几个步骤：卸载旧的驱动和CUDA版本、下载和安装最新的显卡驱动、安装CUDA Toolkit，并配置相关的环境变量。
WSL下Ubuntu+RTX4090安装CUDA+cuDnn+Pytorch
遗失的神庙
03-21 2200
首先需要明确的是，在WSL下安装Ubuntu，如果要使用主机的GPU卡，只需要在主机Windows上安装驱动，Linux中不需要安装驱动，可以在Linux中使用nvidia-smi命令查看驱动版本。
显卡驱动安装、CUDA 和 cuDNN 配置
w1059937074的博客
11-17 1219
本文档介绍了在 Linux 上进行环境部署的完整步骤，包括显卡驱动安装、CUDA 和 cuDNN 配置等内容。
linux系统，ubuntu安装英伟达NVIDIA4090显卡驱动
weixin_43651674的博客
08-22 5324
本人系统是使用ubuntu24.04，本来是安装centos7的，但由于核显和显卡版本太高，centos不支持，而且centos7后续也不更新了，所以选择了ubuntuubuntu系统安装。
ubuntu 22.04 安装 RTX 4090 显卡驱动 GPU Driver（PyTorch准备）
热门推荐
yingmohuanzhou的博客
05-14 1万+
ubuntu 22.04 安装 RTX 4090 显卡驱动 GPU Driver（PyTorch准备）
解决AutoDL服务器上使用LLamaFactory微调大模型cuda/pytorch/python/auto-gptq/vllm/版本冲突的问题
weixin_42745482的博客
01-21 1345
使用LLamaFactory微调大模型时，很多依赖的版本关系复杂，很容易出现版本冲突的问题，这里主要涉及到cuda/pytorch/python/auto-gptq/vllm/版本的选择，我在查看了很多博客和技术资料后在autoDl上进行多个版本的组合实验，特此记录一下。提示：这里尽量选RTX4090的显卡，同样的版本我在RTX的RTX3080显卡上还是会出现版本不兼容的问题：为此我特地查了一下两个显卡的架构，RTX4090的架构采用了Ampere架构，而采用的是RTX3080Turing架构‌。
使用docker搭建分布式pytorch+cuda训练模型（一）
2401_83051627的博客
07-10 1864
由于训练模型所需要的环境一致，因此使用docker创建镜像并在各个服务器中开启容器。随后运行pytorch模型进行分布式训练。过程如下主机使用centos镜像创建容器在容器中搭建环境，上传代码将容器打包成镜像将镜像发布到各个服务器各个服务器开启容器，执行分布式训练。
Linux安装Ubuntu24.04系统 并安装配置Nvidia 4090 显卡驱动
nalanxiaoxiao2011的博客
04-01 5347
Linux安装Ubuntu24.04系统 并安装配置Nvidia 4090 显卡驱动
Pytorch 安装经历（基于Nvidia RTX4090）
vindicater的博客
06-24 4892
刚接触深度学习的情况下最先面对的就是安装pycharm的问题，而笔者这两天装机的时候发现网上的教程基本都是半年之前的教程了，里面有一些内容因为对应的库的更新而不再正确，照葫芦画瓢而不加修改会导致遇到一些难以解决的错误，笔者在这里通过装机的全过程来引导新手渡过入门的第一关
4090显卡 安装cuda 11.3 版本
weixin_55982578的博客
06-13 3797
4090 安装其他版本的cuda
ubuntu 22.04 安装 RTX 4090 显卡驱动
JineD的博客
03-09 1万+
成功卸载掉老款驱动后，重新运行下载的驱动安装包，期间可能提示你安装 gcc、make 命令后再安装。经验证，更换4090显卡后，基于cuda10.2编译的pytorch已不受支持；更换为cuda11.6编译的pytorch可正常使用。安装后第一次开机时间较长，耐心等待。
Ubuntu22.04安装4090显卡驱动
胭脂草的ABC博客
01-25 2976
2、下载系统所需要的版本的NV显卡驱动，本次由于使用CUDA12.1，故选用的驱动版本为NVIDIA-Linux-x86_64-530.41.03.run。9、注意事项：询问是否需要安装32位版本的，选择NO，sign the kernel module选择YES。11、重启结束后，终端输入nvidia-smi，出现详细的显卡信息的时候，表示驱动已经安装成功。3、卸载NV驱动（只是保险起见，并不是一定会卸载，因为压根没安装过）1、安装完Ubuntu系统，打完所有补丁后再进行后续操作。
4090显卡pytorch+torchvision+torch-cuda+torch-scatter+pytorch3d
qq_45286494的博客
12-07 1281
自己下载torch_scatter，放到电脑或者服务器，通过pip install path 指令+文件地址，来安装。注意如下是成功安装版本。
【环境搭建】ubuntu工作站搭建全流程（显卡4090）
qq_44091004的博客
04-09 2914
ubuntu工作站搭建
有关NVIDIA 4090的pytorch版本安装心得
m0_52780987的博客
04-07 8376
pytorch 中的CUDA版本不能高于当前机器上已经安装的CUDA版本（12.1）故我安装的pytorch对应的版本里面的CUDA版本为12.1。
在4090GPU服务器上，重新安装cuda11.8，问题汇总
xixiangdai的博客
08-07 4540
序言：4090英伟达显卡，算力8.9，之前安装了cuda的版本是11.7，由于11.7的cuda不支持8.9的算力，所以需要将升版本到11.8。nvidia显卡驱动中显示cuda version 12.2 ，这个没有关系。只要保证比cuda tool版本要高就行。重新安装cuda11.8，卸载英伟达的显卡驱动【我没有卸载11.7】，才能保证cuda11.8的安装成功。本篇文章记录遇到的问题。
Windows + RTX4090驱动，CUDA安装
遗失的神庙
03-20 3428
（2）然后在https://www.nvidia.cn/Download/index.aspx?lang=cn中下载相应驱动。（1）nvidia-smi -L查看自己的显卡型号。NVIDA Drivers驱动。
依赖镜像：zkj/components-llm:1.0-stable-torch2.3.0-cuda12.1这是什么镜像
最新发布
09-24
<think> 我们正在讨论一个名为`zkj/components-llm:1.0-stable-torch2.3.0-cuda12.1`的Docker镜像。根据镜像名称，我们可以推断以下信息： ### 镜像名称解析 1. **镜像仓库与名称**：`zkj/components-llm` - 可能是私有仓库或组织名称（zkj）下的一个镜像，专门用于大语言模型（LLM）组件。 2. **标签（Tag）**：`1.0-stable-torch2.3.0-cuda12.1` - `1.0-stable`：表示稳定版本1.0。 - `torch2.3.0`：表示镜像中预装了PyTorch 2.3.0版本。 - `cuda12.1`：表示镜像内置了CUDA 12.1，这说明镜像支持NVIDIA GPU运算，并且需要驱动程序版本>=530.30.02（具体可参考CUDA兼容性文档）。 ### 镜像内容推测 基于名称，我们可以合理推测该镜像包含： - **基础操作系统**：通常为Ubuntu 20.04/22.04或类似发行版。 - **Python环境**：预装Python（可能是3.8、3.9或3.10），并安装了以下关键包： - PyTorch 2.3.0（与CUDA 12.1匹配） - 深度学习相关库（如transformers, vllm, accelerate等） - 常用工具（如git, wget, curl等） - **CUDA工具包**：完整安装CUDA 12.1，包括cuDNN、NCCL等GPU加速库。 - **优化配置**：针对大语言模型推理进行过环境优化（如启用FlashAttention、定制内核等）。 ### 典型使用场景 该镜像适用于： 1. **大语言模型推理服务**：部署类似Qwen、LLaMA等模型的API服务。 2. **模型训练/微调**：提供稳定的PyTorch+CUDA环境。 3. **云原生部署**：作为Kubernetes Pod的基础镜像。 ### 验证镜像内容的方法 若您有权限访问该镜像，可通过以下命令查看详情： ```bash docker pull zkj/components-llm:1.0-stable-torch2.3.0-cuda12.1 docker run -it --rm --entrypoint bash zkj/components-llm:1.0-stable-torch2.3.0-cuda12.1 # 在容器内执行 python -c "import torch; print(torch.__version__)" python -c "import torch; print(torch.cuda.is_available())" pip list | grep vllm # 检查是否包含vLLM ``` ### 与之前问题的关联 在之前讨论的vLLM部署问题中，使用此镜像可避免手动安装CUDA/PyTorch的麻烦： ```bash docker run --gpus all -p 8000:8000 \ -v /home/qwen1.5-1.8b:/models \ zkj/components-llm:1.0-stable-torch2.3.0-cuda12.1 \ python -m vllm.entrypoints.openai.api_server \ --model /models/qwen1.5-1.8n \ --port 8000 \ --gpu-memory-utilization 0.9 \ --max-num-seqs=8 \ --max-model-len 2158 \ --enable-prefix-caching ``` ### 优势总结 | 特性 | 说明 | |---------------------|----------------------------------------------------------------------| | **环境一致性** | 避免物理机环境差异导致的问题 | | **依赖预装** | 开箱即用，节省安装时间 | | **生产稳定性** | `stable`标签表明经过测试，适合生产部署 | | **GPU性能优化** | 集成CUDA 12.1和PyTorch原生优化 | --- ### 相关问题 1. 如何基于此镜像构建自定义Docker镜像以满足特定模型需求？ 2. 该镜像是否支持AMD GPU或Apple Silicon？ 3. 如何验证镜像中的CUDA与宿主机NVIDIA驱动的兼容性？ 4. 在Kubernetes集群中如何调度使用此镜像的Pod？ 5. 镜像安全扫描：如何检查镜像是否存在已知CVE漏洞？ </think> ### `zkj/components-llm:1.0-stable-torch2.3.0-cuda12.1` 镜像详解 #### 一、镜像核心组成解析 该镜像是专为 **大语言模型（LLM）生产环境** 优化的 Docker 镜像，其名称结构解析如下： 1. **基础标识** - `zkj/components-llm`：机构/项目命名空间（zkj）及组件类型（LLM 专用镜像） - `1.0-stable`：稳定版本号（生产环境推荐版本） 2. **深度学习框架** - `torch2.3.0`：预装 **PyTorch 2.3.0** 框架 - 集成 FlashAttention-v2 等优化内核 - 支持动态张量计算和分布式训练 3. **GPU 加速环境** - `cuda12.1`：内置 **CUDA 12.1** 工具链 - 包含 cuDNN 8.9.5 + NCCL 2.18.3 - 支持 Ampere/Ada Lovelace/Hopper 架构显卡 #### 二、典型预装组件 ```bash # 镜像内主要软件包示例 torch==2.3.0+cu121 # PyTorch with CUDA 12.1 transformers==4.40.0 # HuggingFace 模型库 vllm==0.4.1 # 高性能推理引擎 accelerate==0.30.0 # 分布式训练工具 bitsandbytes==0.43.0 # 量化支持 cuda-toolkit-12-1 # CUDA 基础工具 ``` #### 三、关键特性 1. **性能优化** - 启用 TensorRT-LLM 加速内核 - 支持 FP16/BF16/INT8 混合精度计算 - 预编译 FlashAttention 等定制算子 2. **模型部署便利性** ```dockerfile # 典型启动命令（以 vLLM 为例） docker run --gpus all -p 8000:8000 \ -v /models:/models \ zkj/components-llm:1.0-stable-torch2.3.0-cuda12.1 \ python -m vllm.entrypoints.openai.api_server \ --model /models/qwen1.5-1.8b \ --tensor-parallel-size 2 ``` 3. **环境一致性保障** - 固化 CUDA/cuDNN 版本避免兼容性问题 - 通过 `requirements-freeze.txt` 锁定依赖版本[^1] #### 四、适用场景 | 场景 | 优势 | |---------------------|----------------------------------------------------------------------| | **模型推理服务** | 预装 vLLM/Triton 推理服务器，支持高并发请求 | | **多卡训练** | 集成 NCCL 和 PyTorch FSDP，优化多 GPU 通信效率 | | **云端部署** | 开箱即用的 Kubernetes 兼容镜像，支持 Helm Chart 部署 | | **量化微调** | 内置 bitsandbytes + QLoRA 工具链 | #### 五、镜像验证方法 ```bash # 检查 PyTorch-CUDA 兼容性 docker run -it --rm --gpus all zkj/components-llm:1.0-stable-torch2.3.0-cuda12.1 \ python -c "import torch; print(f'CUDA可用: {torch.cuda.is_available()}\n驱动版本: {torch.version.cuda}')" # 输出示例 # CUDA可用: True # 驱动版本: 12.1 ``` #### 六、与物理机部署对比 | 维度 | Docker 镜像方案 | 物理机直装方案 | |--------------|-----------------------------------|----------------------------| | **部署速度** | 秒级启动（镜像预载） | 需手动安装驱动/CUDA（>30分钟）| | **兼容性** | 无视宿主机环境差异 | 需严格匹配驱动和系统版本 | | **安全性** | 进程隔离 + 只读文件层 | 依赖系统全局环境 | | **扩展性** | 快速水平扩展（K8s） | 需逐台配置 | --- ### 相关问题 1. 如何基于此镜像构建自定义模型的微调环境？ 2. 该镜像对 NVIDIA 显卡驱动版本的最低要求是什么？ 3. 如何在 Kubernetes 集群中调度使用此镜像的 LLM 推理服务？ 4. 镜像是否支持 AMD ROCm 或 Intel GPU 等异构计算设备？ 5. 如何验证镜像中的 vLLM 是否启用了 FlashAttention 优化？
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值