WSL2 + docker + cuda 报错nvidia-container-cli: mount error: file creation failed:libnvidia-ml.so.1: fi

原创 已于 2023-05-05 15:45:33 修改 · 4.8k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#docker #linux

于 2023-04-14 16:34:31 首次发布
在使用WSL2和Ubuntu22.04，显卡驱动528.89及CUDA11.7的环境中，通过Docker运行容器并尝试使用--gpusall时遇到错误。问题源于libnvidia-ml.so.1、libcuda.so.1等文件的存在。解决方案是删除这些文件，创建新镜像，然后成功利用新镜像启动带有GPU支持的容器。

环境

  • WSL2 + Ubuntu 22.04
  • 显卡驱动: 528.89
  • CUDA: 11.7

问题

在创建docker时使用--gpus all会报错：

docker run --gpus all -it -e DISPLAY=unix$DISPLAY -v /tmp/.X11-unix:/tmp/.X11-unix:rw celinachild/orbslam2 /bin/bash
docker: Error response from daemon: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: error during container init: error running hook #0: error running hook: exit status 1, stdout: , stderr: Auto-detected mode as 'legacy'
nvidia-container-cli: mount error: file creation failed: /var/lib/docker/overlay2/b92e32945b90e830d9786a89fa0c138933ab7657c8a459bafe551fb944836b65/merged/usr/lib/x86_64-linux-gnu/libnvidia-ml.so.1: file exists: unknown.
ERRO[0000] error waiting for container: context canceled

解决

参考 issue1551

解决方式是

  1. 先不使用gpu创建容器
  2. 删除相关文件（注意根据报错删除文件，不要删多）
rm -rf /usr/lib/x86_64-linux-gnu/libnvidia-ml.so.1 /usr/lib/x86_64-linux-gnu/libcuda.so.1
  1. 创建不包含这些文件的新的镜像
  2. 使用新的镜像创建容器

实现如下：

╭─changym at LAPTOP-CHANGYM in ~ (base
最低0.47元/天 解锁文章
changym5
关注
docker desktop 运行带 --gpus all 参数容器报:Auto-detected mode as ‘legacy‘ nvidia-container-cli: mount error
JineD的博客
12-25 4438
报错起因：执行 docker 运行容器命令： 报错：failed to create task for container: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: error during container init: error running hook #0: error running hook: exit stat
【报错】 拉基础镜像： Error response from daemon: Get “https://registry-1.docker.io/v2/“: net/http: request ca
热门推荐
静谧、淡雅
10-18 1万+
拉基础镜像： Error response from daemon: Get "https://registry-1.docker.io/v2/": net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)
【docker创建容器的坑】WSL启动nvidia-docker镜像：报错libnvidia-ml.so.1- file exists- unknown
Drug discovery
06-27 1万+
今天使用docker创建容器的时候总是出错，最后锁定问题在“--gpus all”这里：不加--gpu all可以运行，加入了--gpus all就出错：安装网上的做法：一直不行，最后才知道源镜像使用的CUDA10，而我的电脑是CUDA11，所以创建GPU容器就一直错误，我服了，所以在一直错误的时候建议先使用下面的方法将依赖打印出来，看看使用的是CUDA版本：
WSL2 安装 nvidia-docker
wdz502425575的博客
03-22 4238
前面的cuda-toolkit-11-6安装成功的话安装 WSL2 + ubuntu18.04 + 511.65 + cuda-toolkit-11-6_敦码的博客-优快云博客 接下来就是安装nvidia-docker， 1、首先安装 WSL2 Linux 发行版标准 Docker-CE,执行 curl https://get.docker.com | sh 2、然后设置稳定的存储库和 GPG 密钥 distribution=$(. /etc/os-release;echo $ID$V
基于Docker的深度学习环境NVIDIA和CUDA部署以及WSL和linux镜像问题
xu.hyj
05-14 9401
docker的介绍网上有很多，对于深度学习的认来讲，docker的好处就是直接把环境分享给他人，他人不需要再配置环境了。比如我有一个目标检测的项目，我想分享给朋友，那么他首先需要在自己的电脑上配置好显卡驱动、CUDA、CuDNN，在拿到我的项目后，还需要安装各种依赖库，最后代码还不一定跑起来。如果我是用了docker环境进行项目配置，我只需要将环境打包好后分享给朋友。他只需要安装好显卡驱动就行，什么cuda、pytorch之类的都在我分享的环境了。
nvidia-container-cli: mount error: stat failed: /GeForce: no such file or directory
Thunder的博客
06-21 4112
nvidia-container-cli: mount error: stat failed: /GeForce: no such file or directory\\n\""": unknown错误 docker: Error response from daemon: OCI runtime create failed: container_linux.go:348: starting co...
WSL2: nvidia-container-cli mount error, libnvidia-ml.so.1: file exists: unknown.
weixin_41894196的博客
11-04 640
大致意思就是你的本地有这个文件，同时你的镜像里面也有这个文件，所以需要把镜像里面的这个文件删掉。写个Dockerfile删一下就好了。具体参考这个issue。
WSL NVIDIA Container报错: libnvidia-ml.so.1: cannot open shared object file: no such file or directory
qq_47564006的博客
04-28 2323
【代码】WSL NVIDIA Container报错: libnvidia-ml.so.1: cannot open shared object file: no such file or directory。
精选资源
wsl2-forwarding-port-cli:WSL2-forwarding-port-cli是用于WSL2 TCP和UDP转发端口配置的命令行工具
04-05
wsl2-forwarding-port-cli 作者：Chatdanai Phakaket 电子邮件： WSL2-forwarding-port-cli是用于wsl2转发端口配置的命令行工具 要求 [推荐] wsl2-forwarding-port-engine版本1.0.1-beta wsl2-forwarding-port-...
nvidia-container-cli: mount error容器不能使用GPU
qq_17693195的博客
06-24 3414
打包的时候要删除容器的CUDA和NVIDIA驱动依次执行下面命令:apt -y remove nvidia-*sudo /usr/bin/nvidia-uninstallsudo apt-get --purge remove nvidia-*sudo apt-get purge nvidia*sudo apt-get purge libnvidia*重新打个容器包然后把容器包加载镜像调用命令nvidia-smi 有GPU信息表示能用宿主的CUDA了...
docker run带 --gpus all 参数报错：“Auto-detected mode as ‘legacy‘ nvidia-container-cli: mount error”
培根芝士的专栏
03-11 4885
启动“docker run --gpus all ...”时报错：该镜像是在Ubuntu环境下创建的，而在WSL下使用nvidia-docker启动该镜像时会报错。1. 使用docker而不是nvidia-docker启动原始镜像下的容器（去掉--gpus all） 2、在该容器中删除 /usr/lib/x86_64-linux-gnu/libnvidia-ml.so.1 和文件 /usr/lib/x86_64-linux-gnu/libcuda.so.1 3、新开一个终端，把此时的容器打包为镜像
配置基于WSL2的Docker环境并支持CUDA
识物专栏
04-10 2176
如果update参数无效，没有更新wsl，则说明你没有使用预览版的windows系统，wsl的版本低。也许你从NVIDIA、Docker、Microsoft看到的文档中告诉你大于某个版本号就可以，但我建议你使用。介绍的，我们可以在windows10中使用linux子系统。今天本文介绍如何在此基础上安装Docker并支持在wsl中使用GPU。去Docker官网下载，请不要使用下面这个脚本。如果结果看起来如同下列所示，说明是OK的。开启你需要使用docker的wsl发行版。命令不起作用是正常的。
[问题已处理]-报错libnvidia-ml.so.1- file exists- unknown
爷来辣的博客
05-15 5232
导语：在windows10的docker中启动非GPU应用容器会报错libnvidia-ml.so.1: file exists: unknown。但是这个镜像在其他linux环境可以跑。并且在wsl中运行mysql和zk容器是没问题。 以下是2个镜像的history。 10.10.3.5/cta/java-egl:01 IMAGE CREATED CREAT
WSL启动nvidia-docker镜像：报错libnvidia-ml.so.1- file exists- unknown
你是怎么做到的？我为什么做不到
03-29 821
【代码】WSL启动nvidia-docker镜像：报错libnvidia-ml.so.1- file exists- unknown。
记录 | gpu docker启动报错libnvidia-ml.so.1: file exists: unknown
极智视界
12-16 1523
记录 | gpu docker启动报错libnvidia-ml.so.1: file exists: unknown
nvidia-container-cli: detection error: open failed: /usr/lib/x86_64-linux-gnu/libnvidia-tls.so.525.1
heroacool的专栏
11-06 1579
重启机器，发现显卡掉了。ls /usr/src | grep nvidia，并用dkms重装了nvidia驱动后，能用nvidia-smi了。但是此时启动容器时，报错如下搜索后有几个线索安装时，发现有些依赖包broken，直接执行修复后，直接能启动容器了。搞定！
docker中的cuda没有bin
weixin_41310546的博客
06-28 535
CUDA,Docker相关视频讲解：搭建私人助理大模型需要什么环境？什么是容器Docker介绍Docker中的CUDA没有bin 在使用Docker容器进行GPU加速计算时，经常会遇到一个问题：在Docker中安装了CUDA，但是却找不到bin目录。这个问题常常让人困惑，因为bin目录中包含了很多CUDA相关的命令和...
启动docker失败,nvidia-container-cli: initialization error: nvml error: driver not loaded: unknown
To be a better man
01-03 3084
【代码】启动docker失败,nvidia-container-cli: initialization error: nvml error: driver not loaded: unknown。
主机重装NVIDIA驱动后，Docker容器无法加载驱动Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is t
hjxu2016的博客
08-10 2148
文章目录一、主机重装NVIDIA驱动后，Docker容器无法加载驱动二、Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running? 一、主机重装NVIDIA驱动后，Docker容器无法加载驱动 docker遇到 Error response from daemon: Cannot restart container b42e144ce449: OCI runtime cre
在wsl2的ubuntu里运行docker run -itd --runtime=nvidia --gpus all --name wst-mt-ocr-3.1.0 -p 2602:2602 -p 2603:2603 -p 2604:2604 chengdu-wst-mt-ocr-3.1.0:3.1.0 报错：docker: Error response from daemon: failed to create task for container: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: error during container init: error running hook #0: error running hook: exit status 1, stdout: , stderr: Auto-detected mode as 'legacy' nvidia-container-cli: mount error: file creation failed: /var/lib/docker/overlay2/483b0a6913b541389467c0d17986aefb3c3aacb0664566731c524aa945b81dd3/merged/usr/lib/x86_64-linux-gnu/libnvidia-ml.so.1: file exists: unknown
最新发布
07-07
这个错误通常是由于NVIDIA容器运行时与Docker的兼容性问题或文件系统冲突导致的。以下是解决步骤： 1. **更新NVIDIA容器工具包** ```bash distribution=$(. /etc/os-release; echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list sudo apt-get update sudo apt-get install -y nvidia-container-toolkit sudo systemctl restart docker ``` 2. **清理残留的容器层** ```bash docker system prune -a ``` 3. **尝试指定不同的运行时模式** 在运行容器时添加环境变量： ```bash docker run -itd --runtime=nvidia --gpus all -e NVIDIA_DISABLE_REQUIRE=1 --name wst-mt-ocr-3.1.0 -p 2602:2602 -p 2603:2603 -p 2604:2604 chengdu-wst-mt-ocr-3.1.0:3.1.0 ``` 4. **检查NVIDIA驱动和CUDA版本** ```bash nvidia-smi nvcc --version ``` 5. **手动挂载NVIDIA库（备用方案）** ```bash docker run -itd --gpus all -v /usr/lib/x86_64-linux-gnu/libnvidia-ml.so.1:/usr/lib/x86_64-linux-gnu/libnvidia-ml.so.1 --name wst-mt-ocr-3.1.0 -p 2602:2602 -p 2603:2603 -p 2604:2604 chengdu-wst-mt-ocr-3.1.0:3.1.0 ```
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值