在 PyCharm 中使用 CUDA Docker 环境

原创 已于 2024-09-20 11:56:06 修改
· 1.8k 阅读 · 17 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pycharm #docker #ide #深度学习 #CUDA

于 2024-09-20 11:05:24 首次发布

前言

  在深度学习的过程中经常会遇到对 CUDA 版本有不同要求的代码库，环境配置困难，本文尝试用 Docker 环境来解决此问题。
  本文适用于 Ubuntu 系统，主要涵盖 Docker 安装、CUDA 镜像、PyCharm 使用 Docker 环境来调试和运行代码3个方面的内容。

一、Docker 安装

Docker 官网安装指南

1. 卸载旧版本

  在安装 Docker Engine 之前，需要卸载所有有冲突的软件包，然后才能安装 Docker Engine 的正式版本。

for pkg in docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $pkg; done

2. 添加密钥

# Add Docker's official GPG key:
sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

补充

  • 密钥的作用
    GPG 密钥主要用于验证软件包的真实性和完整性。软件仓库在发布软件包时进行签名，用户通过秘钥验证签名。
  • 镜像密钥
    官网提供的密钥可能下不动，可使用镜像：
# 中科大
sudo curl -fsSL https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
# 阿里云
sudo curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

  • 指令解析

    • sudo curl -fsSL <url> | sudo apt-key add -
      curl 命令从网站下载密钥，并传递给 apt-key add - 将密钥添加到系统的全局密钥列表 /etc/apt/trusted.gpg。这种方式简单直接，但并不推荐，可能产生安全警告。
    • sudo curl -fsSL <url> | sudo gpg --dearmor -o <file>
      gpg --dearmor 将密钥由 ASCII 格式转换到二进制格式并存储到指定的文件中。
    • sudo curl -fsSL <url> -o <file>
      官方做法与第二种类似，只是密钥格式没有转二进制。先通过 sudo install -m 0755 -d /etc/apt/keyrings 创建目录并设置了权限，下载密钥后再通过 sudo chmod a+r /etc/apt/keyrings/docker.asc 为密钥文件添加读权限。

  • 管理密钥

    • 查看密钥 sudo apt-key list
    • 删除密钥 sudo apt-key del 9DC858229FC7DD38854AE2D88D81803C0EBFCD88
/etc/apt/trusted.gpg
--------------------
pub   rsa4096 2017-02-22 [SCEA]
      9DC8 5822 9FC7 DD38 854A  E2D8 8D81 803C 0EBF CD88
uid             [ 未知 ] Docker Release (CE deb) <docker@docker.com>
sub   rsa4096 2017-02-22 [S]

3. 添加仓库

# Add the repository to Apt sources:
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
  
sudo apt-get update

补充

  • 镜像仓库
    若使用了镜像密钥则需要添加镜像仓库，同样介绍一个不同的指令。
sudo add-apt-repository "deb [arch=amd64] https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
  • 指令解析
    • 镜像指令
      add-apt-repository 将源添加到系统中，通常在 /etc/apt/sources.list 或 /etc/apt/sources.list.d/ 中自动配置。[arch=amd64] 指定系统架构，$(lsb_release -cs) 对应 Ubuntu 版本代号，stable 指定软件发行版本。由于不能指定密钥位置，需要和 sudo apt-key add - 一同使用。
    • 官方指令
      echo "..." | sudo tee <file> > /dev/null 将软件源配置写入到指定文件中。软件源配置与镜像指令类似，signed-by=<file> 指定密钥位置，$(. /etc/os-release && echo "$VERSION_CODENAME") 与 $(lsb_release -cs) 基本相同。

4. 安装 Docker

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

5. 测试运行

sudo docker run hello-world

补充
  很可能拉不动镜像，可在 /etc/docker/daemon.json 添加以下内容，配置 Docker 使用镜像加速器。最后一项阿里云的 ID 可在 镜像服务 → 镜像工具 → 镜像加速器中免费获取。

{
	"registry-mirrors": [
		"https://noohub.ru",
		"https://huecker.io",
		"https://docker.m.daocloud.io",
		"https://dockerhub.timeweb.cloud",
		"https://<id>.mirror.aliyuncs.com",
	]
}

sudo systemctl daemon-reload
sudo systemctl restart docker
sudo docker run hello-world

6. 以非 root 身份管理 Docker

# 创建群组
sudo groupadd docker
# 添加用户
sudo usermod -aG docker $USER
# 激活更改
newgrp docker
# 测试
docker run hello-world

补充

  • 群组管理
# 查看所有群组及其成员
getent group
# 查看指定群组的成员
getent group docker
# 删除用户(两种方式)
sudo deluser <username> docker
sudo gpasswd -d <username> docker
# 查看用户所属的所有群组
groups username

二、NVIDIA CUDA 镜像安装

NVIDIA Container Toolkit 官网安装指南

1. 安装

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

  所用指令与 Docker 安装大同小异，不再赘述。

2. 测试

sudo docker run --rm --runtime=nvidia --gpus all nvidia/cuda:11.6.2-base-ubuntu20.04 nvidia-smi

  在 NVIDIA CUDA Docker Hub 中可以找一些官方的镜像进行测试，Tags 栏中可以进行检索。

3. 早期版本 CUDA

  目前 Docker Hub 中最早的 CUDA 版本为 11.1.1，然而还有许多项目依赖更早版本的 CUDA。在 NVIDIA NGC 中可以查找更多版本。

sudo docker pull nvcr.io/nvidia/cuda:10.0-cudnn7-devel-ubuntu18.04

sudo docker run -i -t --gpus all nvcr.io/nvidia/cuda:10.0-cudnn7-devel-ubuntu18.04 /bin/bash

踩坑历程：
  最初在 CUDA Image List 找到了可下载的镜像，使用 sudo docker load -i <image file> 读取镜像时报错 open /var/lib/docker/tmp/docker-import-4091194390/sources/json: no such file or directory，最终查到原因是镜像在导出时有两种方法，save 对应 load，export 对应 import。
  然而在加载镜像后创建容器却有异常。在查看压缩包内容后感觉可能是镜像缺少 Linux 的基础系统文件，暂未找到解决方案。

docker import nvidia-cuda-10.0-cudnn7-devel-ubuntu-18.04-x86_64.tgz cuda:10.0
sha256:49a9446b007887be75727da3cea0cbd57bb2c6fac84b98e6edac82e94ae8620c

docker images
REPOSITORY        TAG         IMAGE ID       CREATED         SIZE
cuda              10.0        49a9446b0078   9 seconds ago   2.43GB

docker run -it --gpus all cuda:10.0 /bin/bash
docker: Error response from daemon: failed to create task for container: failed to create shim task: 
OCI runtime create failed: runc create failed: unable to start container process: 
exec: "/bin/bash": stat /bin/bash: no such file or directory: unknown.

三、PyCharm 使用 Docker 环境

  此功能必须使用专业版 PyCharm，下载及安装在此处。

1. 配置 Docker 服务器

在这里插入图片描述
  如上图所示在 File -> Setting 页面点加号按默认方式配置 Docker 服务器（显示连接成功）。点击确定，如下图所示会弹出服务窗口，双击 Docker 启用后可以看到容器、镜像等信息。

在这里插入图片描述

2. 利用 SSH 使用 Docker 环境

  此时可以在 PyCharm 中对 Docker 的镜像和容器进行操作，这里右键之前拉取的 CUDA10.0 镜像创建容器。在配置选项中，名称、挂载、入口点等按各自需求设置，运行选项中添加 --gpus all 使其可以使用 GPU，而绑定端口会与后续的环境使用密切相关。

在这里插入图片描述
  绑定端口中，主机端口为 2222，容器端口为 22，协议为 tcp，主机 IP 空缺。

以下内容并不充分，大致理解端口设置

  • 主机端口
    本地访问容器的服务时使用的端口号。这个端口必须在主机中是空闲的，不能和其他应用程序冲突。使用 sudo ss -tuln 查看主机端口信息。
  • 容器端口
    暴露到外部的容器服务端口，这个端口是容器中实际服务运行的端口。22 是默认用于 SSH 的端口，在容器中可以通过配置文件 /etc/ssh/sshd_config 来修改默认端口号。
  • 协议
    TCP 或 UDP，使用 SSH 网络服务使用 TCP 协议
  • 主机 IP
    用于指定主机的网络接口（IP地址），默认（空缺）会将端口绑定到主机的所有网络接口（即 0.0.0.0）意味着可以从任何网络接口访问容器。通常用于设为内网 IP，使容器服务只对内网可见。

  创建并启用容器，直接在 PyCharm 中打开容器终端并安装配置 SSH。

# 安装 SSH 服务
apt-get update
apt-get install -y openssh-server
service ssh start
# 查看 SSH 服务状态
service ssh status

# 配置 SSH 用户和密码
useradd -m <user_name>
passwd <user_name>
# 重启 SSH 服务
service ssh restart

  下载 Miniconda 至挂载位置进行安装。默认安装位置为 /root/miniconda3，由于 /root 文件夹的默认权限为 drwx------ 会导致后续无法在 PyCharm 中使用 conda 的 python 环境，需要先修改权限 chmod 755 /root。

  如下图，添加 SSH 解释器，端口填写之前绑定端口中的主机端口，主机可以填写 127.0.0.1 或 0.0.0.0 或 0。后两个是等价的，代表所有网络接口。127.0.0.1 代表本地主机 localhost 的回环地址，代表 SSH 服务就在本地系统上，不会通过网络接口。
  用户名密码按前文配置的 SSH 用户名密码填写。解释器位置按需填写，例如 conda 的某个虚拟环境 /root/miniconda3/envs/env_name/bin/python。至此，可使用 Docker 环境来对代码进行运行和 Debug。

在这里插入图片描述
在这里插入图片描述

Pycharm中配置Docker
u013039977的博客
11-11 3057
PyCharm 提供了内置支持 Docker 的功能，使得你可以轻松地在 Docker 容器中运行 Python 解释器、管理依赖项、调试代码和执行测试。
【Docker】安装部署项目流程（Pycharm版）
steamedobun的博客
10-15 1444
对于一些比较大的安装包.whl文件可以先下好放在项目中，在requirements.txt文件中以以下形式进行安装，如下。第一步要准备好你所需要部署的项目，确保在工作目录下所以程序.py文件正常调用并能正确运行。一些系统配置（容器理解为一个独立的ubuntu系统，下面作为运行本项目的一些系统配置）服务器如果有多张显卡，可以设成哪张卡可见（cuda:0就是读取可见卡的第一张）一种是通过本地离线包下载（对于比较大的文件），一种是通过清华源/阿里拉取。如上，main要在工作目录中能跑通，
docker镜像挂载及pycharm导入
weixin_43761828的博客
11-19 1336
第一步：找到所需镜像并载入 sudo docker load -i 镜像包 第二步：挂载镜像 Sudo docker run –gpus 1 -it --rm --shm-size=”32g” --entrypoint=”/bin/bash” 镜像名 挂载成功后，exit退出 第三步：在pycharm中导入 在file下找到settings，选择python interrupter，在右侧选择add。 选择docker，找到刚刚挂载的镜像名，并添加，python interrupter
基于docker配置pycharm开发环境
xiaomu_347的博客
03-22 2363
此刻通过file进行setting，然后选择project interpreter, 再点击右上角的小齿轮，进入到特定环境的添加选择，具体界面如下， 第一次设置需要先选择server那一行后面的new按钮来创建一个服务名，界面上直接默认即可，下面会出现connection successful字样，开发环境docker和工具pycharm的安装使用，这里不做过多赘述，可以参考前面的博客，当完成所有环境准备后，打开pycharm加载项目路径，同时后台将环境适配的docker镜像挂起。
PyCharm 链接 Podman Desktop 的 podman-machine-default Linux 虚拟环境
最新发布
love530love的博客
04-23 731
工作记录。
pycharm 使用docker中环境
weixin_33127399的博客
07-05 458
Python,Docker相关视频讲解：python的or运算赋值用法用python编程Excel有没有用处？011_编程到底好玩在哪？查看python文件_输出py文件_cat_运行python文件_shelflowchart TD start[开始] step1[创建Dockerfile] ...
【Pycharm教程】PyCharm 使用 Docker 配置 Python 解释器
m0_75067840的博客
11-21 5134
在Settings/Preferences对话框 ( Ctrl+Alt+S) 中，选择Build、Execution、Deployment | Docker，然后在Connect to Docker daemon with下为 选择 Docker。2. 在打开的对话框中，选择Docker选项，从列表中选择 Docker 服务器（如果缺少服务器，请单击新建…PyCharm 与Docker的集成允许您在 Docker 容器中部署的各种配置的开发环境中运行您的应用程序。
docker篇---pycharm连接docker，使用docker环境
心惠天意
02-01 8410
docker篇---pycharm连接docker，使用docker环境
针对 JetPack 5.12（基于 Ubuntu 20.04 L4T） 在 PyCharm 社区版中配置 CUDA Docker 容器的完整流程
03-09
他们可能是在使用NVIDIA Jetson平台进行开发，需要配置一个支持CUDA的Docker环境，并在PyCharm社区版中进行管理。JetPack 5.12是基于Ubuntu 20.04的L4T版本，所以需要确保Docker容器能够兼容这个系统环境。 首先，...
PyTorch在PyCharm中的Docker容器部署指南
资源摘要信息: "pytorch-docker-for-pycharm是一个PyCharm环境中使用的PyTorch Docker仓库，它为开发者提供了一个预配置的Docker容器环境，以便于在PyCharm中高效地进行PyTorch相关的深度学习项目开发。在这个仓库中...
Ubuntu中，在docker中安装pytorch(gpu)+cuda-详细
LOLUN9的博客
01-21 7358
Ubuntu中，在docker中安装pytorch(gpu)+cuda-详细
PyCharm使用Docker镜像搭建Python开发环境
12-23
在我们平时使用PyCharm的过程中，一般都是连接本地的Python环境进行开发，但是如果是离线的环境呢？这样就不好搭建Python开发环境，因为第三方模块的依赖复杂，不好通过离线安装包的方式安装。本文将介绍如何利用PyCharm来连接Docker镜像，从而搭建Python开发环境。 首先，我们需要准备一下工具： PyCharm专业版 Docker 我们用一个示例项目来演示在PyCharm中如何利用Docker镜像搭建Python开发环境。项目的截图如下： 注意到，在该项目中还没有设置Python开发环境，External Libraries为空，到时候我们将用Docker中的
ubuntu pycharm远程ssh使用工作站环境（以docker和anaconda3为例）
小透明炼丹师
01-14 1146
前段时间学了在自己电脑上通过ssh连接工作站，并用命令行/anydesk进行操控。在此基础上，为方便改码看码，将工作站上配置好的docker环境或anaconda环境通过ssh连接到笔记本的pycharm上。具体流程如下，供参考，若有理解不到位的地方欢迎指出。 1. 连接ssh 此步骤用于进行远程操作。 可以采用远程桌面的形式连接，下载安装anydesk软件，进行配置并输入工作站主机的ip和端口、...
pycharm中配置docker（有最难搞的vim指令合集）
qq_62374932的博客
03-11 988
注意：很多博客上写到可以使用 127.0.0.1:8022 连接本地docker，在我的电脑上似乎不适用，你可以两种方法都尝试一下。若想要使用pycharm连接docker容器，容器端口号必须指定为22，因为SFTP默认使用22端口。我这里选择的是163源，因为其他的源我都用不了，这个可以根据自己的需求修改。当我们退出容器时，容器会停止（可以看到容器的状态为exited）。这个命令也可以进入容器，但是当我们退出容器时，容器不会停止。如果不成功，请更换源。：在当前行的下一行插入新的一行，并进入插入模式。
Docker在Pycharm平台上的部署
weixin_45377668的博客
09-24 4678
主要介绍了docker的配置，以及利用Pycharm作为开发平台连接远程服务器进行开发
ubuntu系统下安装Qtcreator
qq_16377055的博客
06-16 1万+
去Qt官网下载qt https://download.qt.io/archive/qt/
【详细教程】pycharm使用docker容器开发
热门推荐
lhyhaiyan的博客
01-04 1万+
【详细教程】pycharm使用docker容器开发
使用PyCharm与Docker容器进行开发：从入门到精通
weixin_71166183的博客
12-28 3126
在PyCharm中，你可以通过右键点击你的Python文件，然后选择"Debug"，或者直接按Shift+F9来启动调试会话。当你的应用程序运行到你设置的断点时，它将会进入调试模式，你可以查看和修改变量的值，以及单步执行代码。在PyCharm中，进入"File"菜单，选择"Settings"。在PyCharm中，你可以通过右键点击项目根目录，选择"Docker" -> “Compose Up"来启动你的应用程序。如果你想停止你的应用程序，你可以在PyCharm中点击"Stop”，或者在命令行中运行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值