1. 离线部署环境准备:为什么需要离线安装?
最近几年,我参与了不少需要在客户内网或者保密机房部署AI应用的项目。这些地方有个共同点:网络是严格隔离的,服务器根本连不上外网。你想用 apt-get install 或者 yum install 这种“一键搞定”的命令?门都没有。这时候,离线部署就成了必须掌握的硬核技能。
特别是当你需要用到 Docker 和 NVIDIA容器工具链 的时候,情况就更复杂了。Docker 本身还好,但 NVIDIA 那一套东西,包括 nvidia-container-toolkit(在 CentOS 上常叫 nvidia-container-runtime),是连接容器内AI框架(比如 PyTorch、TensorFlow)和宿主机物理GPU的桥梁。没有它,你的容器就算有CUDA环境,也识别不到外面的显卡,训练速度直接“一夜回到解放前”,只能用CPU慢慢跑。
所以,这篇文章就是把我这几年在 Ubuntu 20.04 和 CentOS 7 这两个最主流的服务器系统上,反复折腾离线安装的经验,给你做个超详细的梳理。我会假设你手头的服务器是一台“信息孤岛”,所有安装包都需要你提前在另一台有网的机器上下好,再用U盘或者内部文件服务器传过去。整个过程,我会把每一步的命令、可能遇到的坑、以及怎么验证安装成功,都掰开揉碎了讲清楚。目标就一个:让你照着做,就能在无网环境下,把支持GPU加速的Docker环境稳稳当当地搭起来。
2. Ubuntu 20.04 离线安装Docker全流程
Ubuntu 这边,我们主要利用 Docker 官方提供的离线 .deb 安装包。思路很直接:下载所有依赖包 -> 拷贝到目标服务器 -> 用 dpkg 命令安装。
2.1 第一步:在有网机器上准备离线安装包
首先,你得找一台能上网的、同样是 Ubuntu 20.04 (Focal Fossa) 系统的机器。在这台机器上,我们要确定系统代号并下载正确的包。
打开终端,先确认系统版本:
lsb_release -a
你会看到类似 Codename: focal 的输出。记住这个 focal,它是 Ubuntu 20.04 的代号。
接下来,访问 Docker 的官方仓库目录:https://download.docker.com/linux/ubuntu/dists/focal/pool/stable/amd64/。这个目录下文件很多,我们需要下载以下几个核心包(具体版本号可能会更新,选最新的稳定版即可):
containerd.io_<version>_amd64.deb:容器运行时。docker-ce_<version>_amd64.deb:Docker 社区版引擎。docker-ce-cli_<version>_amd64.deb:Docker 命令行工具。docker-ce-rootless-extras_<version>_amd64.deb:支持 rootless 模式的可选包(建议下载以备不时之需)。
你可以用 wget 命令一个个下载,或者用浏览器下载。我习惯建个专门文件夹,比如 ~/docker-offline,把下好的四个 .deb 文件都放进去。然后,把这个文件夹整个打包:
tar -czvf docker-offline-ubuntu20.tar.gz ~/docker-offline/
现在,这个 docker-offline-ubuntu20.tar.gz 文件就是你的“离线安装工具箱”,把它拷贝到目标离线服务器上。
2.2 第二步:在离线服务器上安装Docker
登录到离线的 Ubuntu 20.04 服务器,把刚才的压缩包传上去,解压到一个目录,比如 /opt/docker-pkgs。
进入该目录,你会看到那四个 .deb 文件。安装命令非常简单,一条命令搞定所有依赖:
sudo dpkg -i ./*.deb
dpkg -i 是 Debian/Ubuntu 系安装本地 deb 包的命令。这里用 ./*.deb 通配符一次性安装当前目录下所有 deb 包。安装过程中,如果提示缺少某些依赖(虽然从官方仓库一起下载的包通常不会),但在极端老的或最小化安装的系统上,可能会缺 libseccomp2 之类的。如果遇到,你需要同样在有网机器上通过 apt download 命令下载这些依赖的 deb 包,然后一并传过来安装。
安装完成后,需要配置 Docker 守护进程并启动服务:
sudo systemctl daemon-reload # 重新加载 systemd 配置
sudo systemctl start docker # 启动 Docker 服务
sudo systemctl enable docker # 设置开机自启
最后,验证一下 Docker 是否安装成功:
sudo docker --version
sudo docker run hello-world
如果 hello-world 镜像能成功运行并输出欢迎信息,恭喜你,Docker 引擎在离线环境下已经安装成功了!不过,现在这个 Docker 还不能调用 GPU,我们还需要装上 NVIDIA 的“桥梁”。
3. Ubuntu 20.04 离线安装NVIDIA Container Toolkit
让 Docker 容器能访问 GPU 的关键,是 NVIDIA Container Toolkit(以前叫 nvidia-docker2)。它包含一系列组件,用于在容器启动时注入 GPU 驱动和库。
3.1 下载NVIDIA容器工具链离线包
同样,我们需要在有网的 Ubuntu 20.04 机器上准备离线包。访问 NVIDIA 的容器工具链仓库,例如芝加哥大学的镜像:https://mirror.cs.uchicago.edu/nvidia-docker/libnvidia-container/stable/ubuntu20.04/amd64/。这个镜像访问速度不错,且不需要特殊网络环境。
你需要下载以下五个包(版本号请选择最新的稳定版):
libnvidia-container1_<version>_amd64.deblibnvidia-container-tools_<version>_amd64.debnvidia-container-toolkit_<version>_amd64.debnvidia-container-runtime_<version>_all.debnvidia-docker2_<version>_all.deb
把这些包下载到同一个文件夹,比如 ~/nvidia-offline,然后打包。传到离线服务器后,解压到类似 /opt/nvidia-pkgs 的目录。
3.2 安装与配置
进入存放包的目录,执行安装:
sudo dpkg -i ./libnvidia-container*.deb ./nvidia-container*.deb ./nvidia-docker2*.deb
安装完成后,必须重新加载 systemd 并重启 Docker,让新安装的运行时生效:
sudo systemctl daemon-reload
sudo systemctl restart docker
接下来是最关键的一步:配置 Docker 使用 NVIDIA 作为默认运行时。编辑 Docker 的守护进程配置文件:
sudo vim /etc/docker/daemon.json
如果这个文件不存在,就新建一个。在文件中添加以下内容:
{
"default-runtime": "nvidia",
"runtimes": {
"nvidia": {
"path": "/usr/bin/nvidia-container-runtime",
"runtimeArgs": []
}
}
}
保存退出后,再次重启 Docker 服务:
sudo systemctl restart docker
现在,验证 NVIDIA 容器工具链是否安装成功:
nvidia-container-toolkit --version
# 或者测试一个需要GPU的命令
sudo docker run --rm --gpus all nvidia/cuda:11.8.0-base-ubuntu20.04 nvidia-smi
如果第二条命令能成功输出和宿主机 nvidia-smi 类似的显卡信息,那就说明容器已经能正确识别和使用 GPU 了!这一步成功,意味着 Ubuntu 20.04 这边的硬骨头已经啃下来了。
4. CentOS 7 离线安装Docker详解
CentOS 7 的离线安装思路和 Ubuntu 不同,它更倾向于使用静态二进制包(.tgz 压缩包)或者本地 RPM 包。这里我推荐使用静态二进制包的方式,因为它不依赖复杂的 RPM 依赖关系,更干净,也更适合严格的离线环境。
4.1 使用静态二进制包安装Docker
首先,在有网机器上,访问 Docker 官方发布的静态二进制包地址:https://download.docker.com/linux/static/stable/x86_64/。找到最新的稳定版本,比如 docker-25.0.0.tgz,下载它。
将这个 .tgz 文件传到离线 CentOS 7 服务器的某个目录,例如 /root。然后执行以下步骤:
# 1. 解压压缩包
tar xzvf docker-25.0.0.tgz
# 解压后会得到一个 `docker/` 目录,里面包含了所有可执行文件
# 2. 将二进制文件复制到系统可执行路径
sudo cp docker/* /usr/bin/
这样,Docker 的命令行工具(dockerd, docker, containerd 等)就已经安装到系统里了。但此时 Docker 还没有作为系统服务运行。
4.2 配置Docker为系统服务
为了让 Docker 随系统启动并方便管理,我们需要创建 systemd 服务单元文件。
# 1. 创建服务文件
sudo vim /etc/systemd/system/docker.service
将以下配置内容粘贴进去。这个配置定义了 Docker 服务的基本参数,其中 ExecStart 指定了 dockerd 的启动路径。
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target
[Service]
Type=notify
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
[Install]
WantedBy=multi-user.target
保存退出后,设置文件权限并启用服务:
# 2. 设置服务文件权限
sudo chmod 644 /etc/systemd/system/docker.service
# 3. 重新加载 systemd 配置
sudo systemctl daemon-reload
# 4. 启动 Docker 并设置开机自启
sudo systemctl start docker
sudo systemctl enable docker
# 5. 验证安装
sudo docker --version
sudo docker run hello-world
如果 hello-world 镜像运行成功,CentOS 7 上的 Docker 引擎就离线部署完成了。接下来,我们要解决 GPU 支持的问题。
5. CentOS 7 离线安装NVIDIA Container Runtime
在 CentOS 体系里,我们通常安装的是 nvidia-container-runtime,它本质上是一个实现了 runc 接口的包装脚本,负责在容器启动前配置 GPU 环境。
5.1 获取并安装RPM包
NVIDIA 为 CentOS 提供了预编译的 RPM 包。你需要在有网环境下,从 NVIDIA 的容器工具链仓库或可靠的镜像站下载对应 CentOS 7 的 RPM 包集合。通常是一个包含多个依赖 RPM 的压缩包,或者你需要手动下载以下关键包(及其依赖):
libnvidia-container1libnvidia-container-toolsnvidia-container-toolkitnvidia-container-runtime
假设你已经下载好了一个包含所有 RPM 的压缩包 nvidia-container-runtime-rpms.tar.gz,并上传到了离线 CentOS 7 服务器。
# 1. 解压RPM包
tar -zxvf nvidia-container-runtime-rpms.tar.gz
cd nvidia-container-runtime-rpms
# 2. 安装所有RPM包
# 使用 `--force --nodeps` 是为了在离线环境下忽略可能的依赖缺失警告,前提是你确认包已齐全
sudo rpm -Uvh --force --nodeps *.rpm
5.2 配置与验证
安装完成后,同样需要配置 Docker 使用 NVIDIA 运行时。编辑 /etc/docker/daemon.json 文件(没有则创建):
{
"default-runtime": "nvidia",
"runtimes": {
"nvidia": {
"path": "/usr/bin/nvidia-container-runtime",
"runtimeArgs": []
}
}
}
保存后,重启 Docker 服务:
sudo systemctl restart docker
验证安装是否成功:
# 检查运行时命令是否存在
whereis nvidia-container-runtime
# 运行测试容器,验证GPU访问
sudo docker run --rm --runtime=nvidia --gpus all nvidia/cuda:11.8.0-base-centos7 nvidia-smi
如果测试容器能打印出 GPU 信息,那么 CentOS 7 上的 NVIDIA 容器支持也配置妥当了。这里注意,CentOS 7 的 Docker 命令在启动容器时,旧版常用 --runtime=nvidia 参数,而新版也支持 --gpus all 参数,两者可以同时使用以确保兼容性。
6. 离线镜像管理:打包、传输与运行
环境搭好了,接下来就是怎么把我们的AI应用(打包在Docker镜像里)弄到离线服务器上运行。这里核心是 docker save 和 docker load 这一对命令。
6.1 在线环境准备与打包镜像
首先,在一台有网且 Docker 环境正常的开发机上,准备好你的应用镜像。有两种方式:
- 拉取现有镜像:比如从 Docker Hub 拉取 PyTorch 官方镜像。
docker pull pytorch/pytorch:1.13.1-cuda11.6-cudnn8-runtime - 构建自定义镜像:使用
Dockerfile构建。docker build -t my-ai-app:v1.0 .
然后,将镜像打包成一个独立的 .tar 文件:
docker save -o my-ai-app-v1.0.tar my-ai-app:v1.0
# 或者打包多个镜像
# docker save -o all-images.tar image1:tag1 image2:tag2
这个 .tar 文件是自包含的,包含了镜像的所有层和数据。你可以把它用U盘、内网文件共享等方式,复制到离线服务器上。
6.2 离线加载与运行容器
在离线服务器上,加载这个镜像文件:
docker load -i my-ai-app-v1.0.tar
加载完成后,用 docker images 命令就能看到它了。现在,你可以运行一个容器。根据是否使用GPU,运行命令有所区别:
不使用GPU的容器(纯CPU任务):
docker run -it --shm-size 8g -v /host/data:/container/data --name my-cpu-container my-ai-app:v1.0 /bin/bash
使用GPU的容器(AI训练/推理): 对于 Ubuntu(已安装 nvidia-container-toolkit)和 CentOS(已安装 nvidia-container-runtime),命令是通用的:
docker run -it --gpus all --shm-size 8g -v /host/data:/container/data --name my-gpu-container my-ai-app:v1.0 /bin/bash
参数解释:
-it:交互式终端。--gpus all:将宿主机所有GPU分配给容器。也可以指定具体GPU,如--gpus '"device=0,1"'。--shm-size:设置容器的共享内存大小,很多AI框架(如PyTorch)需要较大的共享内存。-v:目录挂载,把宿主机的数据目录映射到容器内,这是持久化数据和代码的关键。
进入容器后,你可以运行 python -c "import torch; print(torch.cuda.is_available())" 来验证容器内是否可以正确调用CUDA和GPU。
7. 实战避坑指南:CUDA版本匹配与常见错误
离线部署最难的不是安装步骤,而是解决环境兼容性问题。我踩过最多的坑,几乎都围绕 CUDA版本。
7.1 “No kernel image is available for execution on the device” 错误解析
这个错误在尝试运行AI训练时非常常见。它直白地告诉你:容器里PyTorch/TensorFlow等框架编译时所用的CUDA算力,与宿主机物理GPU的算力不匹配。
要解决它,你需要进行一次“三维核对”:
-
宿主机GPU算力与驱动支持的最高CUDA版本:
- 运行
nvidia-smi,右上角会显示CUDA Version: 12.2之类的信息。这代表你的驱动支持的最高CUDA运行时版本。 - 查询你的GPU型号(通过
lspci | grep -i nvidia或nvidia-smi -L)在NVIDIA官网的算力表,了解其计算能力。
- 运行
-
宿主机安装的CUDA Toolkit版本:
- 运行
nvcc -V查看。这个版本必须低于等于nvidia-smi显示的驱动支持版本,并且其包含的编译器要支持你GPU的算力。
- 运行
-
容器内AI框架编译所依赖的CUDA版本:
- 在容器内运行Python代码:
import torch; print(torch.version.cuda)。 - 这个版本必须与宿主机安装的CUDA Toolkit版本兼容(通常要求主版本号一致)。例如,宿主机是CUDA 11.8,那么容器内PyTorch最好也是用CUDA 11.8编译的。
- 在容器内运行Python代码:
7.2 问题定位与解决步骤
当出现上述错误时,我的排查流程是这样的:
- 确认宿主机环境:
nvidia-smi和nvcc -V分别查看驱动支持版本和实际安装的CUDA版本。 - 确认容器内环境:进入容器,用Python检查
torch.cuda.is_available()和torch.version.cuda。 - 对比分析:如果容器内框架的CUDA版本(比如10.2)远低于宿主机驱动支持的版本(比如12.2),且你的GPU是比较新的型号(如A100, A800),那几乎可以确定是版本不匹配。
解决方案:
- 方案A(推荐):寻找或构建一个与宿主机CUDA Toolkit版本匹配的AI框架镜像。例如,宿主机是CUDA 11.8,就去拉取
pytorch/pytorch:1.13.1-cuda11.6-cudnn8-runtime(主版本11匹配)或更高版本的对应镜像。 - 方案B(适用于自定义镜像):在容器内卸载旧的框架,重新安装与宿主机CUDA版本匹配的wheel包。你需要提前在有网机器上下载好对应的
.whl文件(如从 PyTorch 官方whl仓库),例如torch-1.13.1+cu117-cp38-cp38-linux_x86_64.whl,然后离线传入容器进行安装。 - 方案C(调整宿主机):如果条件允许,在宿主机上安装一个与容器内框架要求匹配的CUDA Toolkit版本。但这可能影响宿主机上其他应用,操作也较复杂。
记住一个核心原则:Docker容器通过 nvidia-container-toolkit 调用的是宿主机的GPU驱动和CUDA运行时库(libcuda.so等),而不是容器内安装的CUDA Toolkit(nvcc编译器)。但框架(PyTorch)的二进制扩展库是在编译时链接了特定版本的CUDA运行时接口的,因此需要版本兼容。 理解这一点,就能从根本上把握版本匹配问题。
整个离线部署的过程,确实比在线安装繁琐不少,但每一步都有其意义。尤其是在金融、科研、军工等对网络有严格限制的领域,这套技能非常实用。我自己的经验是,第一次成功部署可能会花上大半天,但一旦走通,形成自己的离线包归档库和部署 checklist,后续再部署就是半小时的事情。关键是把每个环节的验证命令都做到位,确保不把问题留到下一个环节。
517



被折叠的 条评论
为什么被折叠?



