在Ubuntu上搭建大模型最基础的应用环境

1. 安装GPU驱动

检查GPU驱动

• 若你的 GPU 是 NVIDIA 品牌的，可在终端执行以下命令：

nvidia-smi

• 要是驱动已经安装，屏幕会显示 GPU 的相关信息，像驱动版本、GPU 利用率等内容：

tracy@tracydev:~/桌面$ nvidia-smi
Wed Jul 16 04:40:32 2025       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 575.64                 Driver Version: 575.64         CUDA Version: 12.9     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 4070 ...    Off |   00000000:01:00.0 Off |                  N/A |
| 30%   40C    P0             35W /  285W |       0MiB /  16376MiB |      2%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
                                                                                         
+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+

• 若未安装，终端会提示 “Command ‘nvidia-smi’ not found”。

安装GPU驱动

下载地址：https://www.nvidia.cn/geforce/drivers/

chmod +x NVIDIA-Linux-x86_64-575.64.run
Sudo ./NVIDIA-Linux-x86_64-575.64.run

2. 安装CUDA Tookit

什么是CUDA

CUDA（Compute Unified Device Architecture，统一计算设备架构）是 NVIDIA 推出的并行计算平台和编程模型，简单来说，它是一套让开发者能够利用 NVIDIA GPU（显卡）进行高性能计算的工具和技术。

我们通常认为 GPU 是用来处理图形渲染（比如玩游戏、显示图像）的，但 GPU 的硬件结构其实有一个重要特点 ——拥有大量并行计算核心（比如 RTX 4070 有数千个 CUDA 核心），这些核心擅长同时处理大量重复、简单的计算任务（比如数值计算、数据处理）。

而 CUDA 的核心作用，就是打破 GPU 只能做图形渲染的限制，让开发者可以通过编程（比如用 C/C++、Python 等）直接调用 GPU 的并行计算核心，把原本需要 CPU 慢慢处理的复杂计算（如图像处理、深度学习、科学计算等）分配给 GPU，大幅提升计算速度。

CUDA Tookit是实现 CUDA 的软件开发工具包，包含编译器、库、调试工具等。

安装CUDA Tookit

你可以根据以下链接使用wget命令下载CUDA Toolkit 12.9，以下以Ubuntu系统为例：

• 下载CUDA仓库密钥文件：

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb

上述命令适用于Ubuntu 24.04系统，如果你使用的是Ubuntu 22.04或20.04，只需将命令中的ubuntu2404替换为对应的系统版本号即可。

• 下载CUDA软件包.pin文件（以Ubuntu 24.04为例）：

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-ubuntu2404.pin

同样，你需要根据实际的Ubuntu版本修改命令中的系统版本号。

• 安装密钥文件：

sudo dpkg -i cuda-keyring_1.1-1_all.deb

• 更新软件包列表：

sudo apt update

• 安装CUDA Toolkit 12.9：

sudo apt install cuda-toolkit-12-9

• 配置环境变量：

cd ~
sudo nano .bashrc
export PATH=/usr/local/cuda - 12.9/bin${PATH:+:${PATH}}
source .bashrc

• 验证安装：
  使用以下命令查看CUDA版本信息，确认是否安装成功：

nvcc -V

如果下载的是其他格式的安装包或使用的是其他Linux发行版，可参考nvidia官方安装指南进行安装。

3. 安装Miniconda

Miniconda 是一个轻量级的环境和包管理工具，主要用于在 Python 开发中隔离项目环境和管理依赖包。它是 Anaconda 的精简版本，适合追求最小化安装但需要完整环境管理功能的用户。

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
chmod +x Miniconda3-latest-Linux-x86_64.sh
./Miniconda3-latest-Linux-x86_64.sh
source ~/.bashrc
conda --version  # 应输出版本号（如conda 23.7.4）

4. 安装jupyterlab

pip install jupyterlab

5. 安装Docker

可参考：https://blog.youkuaiyun.com/qq_17204557/article/details/148201910