安装 Nvidia-Docker

部署运行你感兴趣的模型镜像

Docker 和 NVIDIA Docker(nvidia-docker)可以同时存在于同一系统中,并且通常是这样配置的。
NVIDIA Docker 是在标准 Docker 的基础上添加的一个扩展,使得 Docker 容器可以访问 NVIDIA GPU。

检查 NVIDIA Docker 组件是否已安装

  • 可以使用以下命令来检查 nvidia-container-toolkit 或 nvidia-docker2 是否已安装:
  • 对于Ubuntu,使用:
dpkg -l | grep nvidia-docker

或者:

dpkg -l | grep nvidia-container-toolkit

下面是一些关于这两者关系和安装方式的详细解释:

NVIDIA Docker 是什么?

  • NVIDIA Docker(特别是 nvidia-docker2 或 NVIDIA Container Toolkit)不是替代 Docker 的独立应用,而是一套工具和插件,使得 Docker 容器能够以支持 CUDA 和其他 NVIDIA 库的方式,安全地访问宿主机上的 NVIDIA GPU。这是通过特殊的 runtime,即 nvidia-container-runtime 实现的。

安装 NVIDIA Docker

  • 在已有 Docker 的系统上安装 NVIDIA Docker 实际上就是在安装一个额外的组件,而不是替换或移除现有的 Docker 安装。以下是安装步骤的概览:

  • 1.确认 Docker 已安装:
  • 确保 Docker 已经安装并运行在你的系统上。可以通过运行 docker version 来检查。

  • 2.安装 NVIDIA Container Toolkit:
  • 安装 NVIDIA Container Toolkit,以便 Docker 可以使用 NVIDIA GPU。安装命令取决于你的操作系统,一般需要添加 NVIDIA 的仓库并安装 nvidia-docker2 包:

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update
sudo apt-get install -y nvidia-docker2
sudo systemctl restart docker
  • 3.验证 NVIDIA Docker 安装:
  • 安装完成后,你可以通过运行一个测试命令来验证 NVIDIA GPU 的集成:
docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi

总结

  • Docker 和 NVIDIA Docker 是可以并且通常会一起安装在同一个系统上的。NVIDIA Docker 依赖于普通的 Docker 服务,并扩展其功能,使其能够管理 GPU 资源。
  • 独立安装:没有必要单独安装 NVIDIA Docker,因为它是作为 Docker 的一个扩展而存在的。你只需要在已安装 Docker 的基础上添加 NVIDIA Docker 组件。

您可能感兴趣的与本文相关的镜像

Wan2.2-I2V-A14B

Wan2.2-I2V-A14B

图生视频
Wan2.2

Wan2.2是由通义万相开源高效文本到视频生成模型,是有​50亿参数的轻量级视频生成模型,专为快速内容创作优化。支持480P视频生成,具备优秀的时序连贯性和运动推理能力

nvidia-docker 是一套工具集,现已演进为 NVIDIA Container Toolkit,专门用于解决 Docker 容器访问 NVIDIA GPU 资源的问题,其核心目标是让 GPU 加速的应用(如深度学习、科学计算等)能够在容器化环境中高效运行[^1]。 对于之前出现的容器名冲突问题,nvidia-docker 本身并不能直接解决该问题,解决方法和普通 Docker 一样,可通过停止并删除现有容器、使用不同的容器名或重命名现有容器来解决。例如: ```bash # 停止并删除现有容器 sudo docker stop ollama sudo docker rm ollama sudo docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama # 使用不同的容器名 sudo docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama_new ollama/ollama # 重命名现有容器 sudo docker rename ollama ollama_old sudo docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama ``` 对于无法选择 GPU 设备驱动的问题,nvidia-docker 演进后的 NVIDIA Container Toolkit 可以解决。需要在宿主机内安装 NVIDIA Container Toolkit,然后重启 Docker 服务,这样 Docker 容器就能检测到 CUDA,Ollama 会自动使用 CUDA 进行 GPU 加速。安装命令如下: ```bash distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \ && curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ && curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \ sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt-get update sudo apt-get install -y nvidia-container-toolkit sudo systemctl restart docker ``` 安装完成后,可通过运行一个简单的命令来验证其是否安装成功,比如: ```bash # 显示 NVIDIA 显卡的详细信息 nvidia-docker run --runtime=nvidia nvidia/cuda:9.0-base nvidia-smi ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值