教你如何用Docker快速搭建深度学习环境

Docker入门指南:基于 docker 搭建机器学习/深度学习开发环境 实际工作中,许多项目开发需要在Linux服务器上进行,本文为习惯使用 Windows 操作系统的朋友介绍一种基于Docker的,跨平台、便携性(方便移植、重新部署、可远程访问)的开发环境搭建方法。 阅读详情

本教程搭建集 Tensorflow、Keras、Coffe、PyTorch 等深度学习框架于一身的环境,及jupyter。

本教程使用nvidia-docker启动实例,通过本教程可以从一个全新的Ubuntu系统快速搭建出GPU深度学习环境。

一、安装依赖环境

1. 使用国内镜像加速安装

https://mirrors.tuna.tsinghua.edu.cn/help/ubuntu/
此处默认环境:ubuntu16.04LTS

sudo mv /etc/apt/sources.list /etc/apt/sources.list.old
sudo vim /etc/apt/sources.list

然后将下面的内容写入该文件:
需要注意的是:不同版本的ubuntu镜像源不一样,可以在清华镜像源查询

# 默认注释了源码镜像以提高 apt update 速度,如有需要可自行取消注释
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-updates main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-backports main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-security main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-security main restricted universe multiverse

# 预发布软件源,不建议启用
# deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-proposed main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-proposed main restricted universe multiverse

使镜像源生效

sudo apt-get update

2. 安装 NVIDIA GPU 驱动

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt-get update
sudo apt-get install nvidia-384 nvidia-prime

查看是否安装成功

watch nvidia-smi # 该命令可查看GPU使用情况

3. 安装 Docker

https://mirrors.tuna.tsinghua.edu.cn/help/docker-ce/
以ubuntu16.04LTS为例

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository \
   "deb [arch=amd64] https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/ubuntu \
   $(lsb_release -cs) \
   stable"
sudo apt-get update
sudo apt-get install docker-ce

查看是否安装成功

docker -v

4. 安装 Nvidia-docker

https://github.com/NVIDIA/nvidia-docker

curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | \
  sudo apt-key add -
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | \
  sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update

sudo apt-get install -y nvidia-docker2
sudo pkill -SIGHUP dockerd

这里的最后一步会重启docker,并载入nvidia-docker的配置
查看是否安装成功

nvidia-docker -v

二、拉取镜像并启动

1. 拉取镜像

这里我们使用了deepo镜像:https://hub.docker.com/r/ufoym/deepo/
其下的 ufoym/deepo:all-py36-jupyter,该镜像收集了大部分深度学习框架,运行在GPU环境,以及配有jupyter。

docker pull ufoym/deepo:all-py36-jupyter

2. 启动镜像

默认配置

nvidia-docker run -it -p 8888:8888 ufoym/deepo:all-py36-jupyter jupyter notebook --no-browser --ip=0.0.0.0 --allow-root --NotebookApp.token= --notebook-dir='/root'

外部挂载配置(挂载外部目录,方便移动数据)

# 这里使用了-v选项用于挂载外部目录
nvidia-docker run -it -p 8888:8888 --ipc=host -v /data:/data ufoym/deepo:all-jupyter-py36 jupyter notebook --no-browser --ip=0.0.0.0 --allow-root --NotebookApp.token= --notebook-dir='/data'

博主推荐:后台运行并挂载外部目录(需要注意的地方是要把参数-it改成-i,否则无法运行在后台)

nohup nvidia-docker run -i -p 8888:8888 --ipc=host -v /data:/data ufoym/deepo:all-jupyter-py36 jupyter notebook --no-browser --ip=0.0.0.0 --allow-root --NotebookApp.token= --notebook-dir='/data' &

参数说明

  • -v /data:/data:左边是外部路径,右边是内部路径,例如我的文件放在/home/ubuntu/data下,需要挂载到docker内部的路径是/data,则参数配置应该是-v /home/ubuntu/data:/data
  • --notebook-dir:jupyter工作目录的默认路径,推荐与上面的docker内部数据路径相同,即/data
  • -p 8888:8888:左边是外部端口,右边是docker镜像端口。如果想将jupyter应用挂载在8080端口,只需修改参数-p 8080:8888即可
  • --NotebookApp.token:进入jupyter的密码,这里设置的是空

三、 成功启动

在这里插入图片描述

四、其他

1. import tensorflow时遇到Future Warning解决方案

错误如下:

FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is deprecated. In future, it will be treated as `np.float64 == np.dtype(float).type`.
  from ._conv import register_converters as _register_converters

解决方案:
进入jupyter terminal并输入

pip install --upgrade numpy
pip install --upgrade h5py

问题解决。

VSCode连接Docker容器并在基础镜像上快速搭建深度学习环境的实用指南 vscode 连接基础镜像创建的容器,在容器中部署深度学习环境 pytorch-cuda,能够运行代码并正常使用cuda加速,使用docker commit打包成新镜像,新镜像保留原来的深度学习环境 阅读详情

相关推荐

【Docker光速搞定深度学习环境配置!】

Docker是什么?你看Docker的图标就知道了,一个鲸鱼承载了所有的仓库,所有的代码、程序、软件都在Dcoker。

qq_41003479的博客 1367

【Docker】基于docker构建深度学习开发环境

基于docker或主机上,在同一环境下安装所有深度学习框架,构建统一的深度学习平台

dddeee的专栏 9285

Vue3多级路由缓存失效的深度解析与实战解决方案

本文深度解析了Vue3项目中多级路由下keep-alive缓存失效的根本原因,并提供了三种实战解决方案:通过路由扁平化根治问题、利用状态管理精细模拟缓存效果,以及借助keep-alive-vue3插件快速修复。文章旨在帮助开发者彻底理解Vue Router与keep-alive的协作机制,从而根据项目情况选择最佳策略,有效解决页面状态丢失的难题。

weixin_29015801的博客 286

docker搭建深度学习环境

在搭建深度学习环境时,Docker 可以提供一种方便的选择。 Docker 是一种轻量级的虚拟化技术,可以在容器中运行应用程序。 要使用 Docker 搭建深度学习环境,需要按照以下步骤进行操作: 安装 Docker:首先,需要在计算机上安装 Docker。可以在 Docker 官网上下载并安装最新版本的 Docker。 创建 Dockerfile:接下来,需要创建一个名为 Dockerfil...

weixin_42601608的博客 496

python采集keep运动数据

我国2009年确立“全民健身日”;2012年,“广泛开展全民健身运动”写入十八大报告;到2014年上升为国家战略,全民健身的分量越来越重。推动全民健身和全民健康深度融合,通过全民健身实现全民健康。 全民健身运动在我国越来越普及,每天清晨和傍晚时分,城市的广场上、公园里,到处是运动健身的人们,跑步、打球、跳舞、游泳、打太极拳等运动项目十分丰富,人们在运动中获得越来越多的幸福感。 随之诞生出了很多运动app,例如keep,咪咕,微信等,大家可以通过app随时记录自己的运动数据,特别是对于很多的减肥人群来说,通过

Z_suger7的博客 5661

BEVFormer vs BEVFusion:5个关键差异点帮你选对环视感知方案

本文深入对比了自动驾驶领域两大主流环视感知方案BEVFormer与BEVFusion。BEVFormer作为纯视觉BEV感知的标杆,通过注意力机制隐式学习深度,成本较低;而BEVFusion作为多模态融合典范,融合激光雷达与摄像头数据,在性能、小目标检测及极端环境鲁棒性上优势显著。文章从计算效率、部署成本、数据依赖性等五个核心维度提供选型指南,帮助技术决策者根据自身算力预算与传感器配置做出明智选择。

weixin_29306011的博客 124

Docker | 深度学习中的docker看这一篇就够啦

Docker是一种相对使用较简单的容器,我们可以通过以下几种方式获取信息:1,通过docker run执行命令,或许返回信息2,通过docker logs去获取日志,做有针对性的筛选3,通过systemctl status docker查看docker服务状态4,通过journalctl -u docker.service查看日志。

weixin_44649780的博客 9067

UltraScale+ FPGA中GTY收发器参考时钟的跨Bank共享机制解析

本文深入解析了UltraScale+ FPGA中GTY收发器参考时钟的跨Bank共享机制,详细介绍了时钟布线架构、SLR区域限制及Vivado工程配置要点。通过实际案例和优化建议,帮助工程师解决高速串行通信中的时钟共享问题,提升系统性能。

weixin_29280219的博客 632

在docker中构建深度学习环境

在docker中构建深度学习环境

Aitotra的博客 3553

告别眼疲劳!保姆级教程:给你的SecureCRT v8.7.2换上护眼高亮配色(附透明背景设置)

本文提供了一份详细的SecureCRT v8.7.2护眼高亮配色方案教程,帮助程序员缓解眼疲劳问题。通过科学调整配色方案、动态环境自适应设置以及字体渲染优化,显著提升终端使用的舒适度和工作效率。特别推荐Solarized Dark和One Dark Pro医学适配版配色方案,适合长时间编码工作。

weixin_42549496的博客 356

SAP Business Technology Platform 支持的技术栈

SAP Business Technology Platform(简称 BTP)是 SAP 提供的一个综合技术平台,旨在帮助企业实现业务转型和创新。BTP 融合了数据库管理、应用开发、集成、分析和智能技术,为企业提供从基础架构到端到端应用的全面服务。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1568

docker 训练深度学习_[Docker] 教你如何用Docker快速搭建深度学习环境

本教程搭建集 Tensorflow、Keras、Coffe、PyTorch 等深度学习框架于一身的环境,及jupyter。本教程使用nvidia-docker启动实例,通过本教程可以从一个全新的Ubuntu系统快速搭建出GPU深度学习环境。一、安装依赖环境1. 使用国内镜像加速安装sudo mv /etc/apt/sources.list /etc/apt/sources.list.oldsudo...

weixin_35130354的博客 286

SAP S/4 FICO科目辅助余额表开发说明书(包括测试样例、程序代码仅作参考,不保证一定可以运行)

SAP S/4 FICO科目辅助余额表开发说明书(包括测试样例、程序代码仅作参考,不保证一定可以运行)

我好像病了的博客 329

Ubuntu + Docker + NVIDIA-docker + Deepo安装

NVIDIA Docker:轻松实现GPU服务器应用程序部署 使用存储库进行安装 首次在新的主机上安装Docker CE之前,需要设置Docker存储库。之后,您可以从存储库安装和更新Docker。 一、Docker CE Get Docker CE for Ubuntu 1. Install 更新apt软件包索引: $ sudo apt-get update 安装软

打江南走过一阵 5578

保姆级教程:一步步创建 ABAP Text Table

有朋友反馈,问有没有一个自己动手创建 Text Table 的例子,因为自己没有动手实践过,总觉得心里不踏实。这个行为的语义是,ZAI_TYPE_T 这张表的 AI_TYPE 字段值,不能随便维护,必须是表。然后另一个需要添加的字段是 AI_TYPE 这个字段值对应的文本值,本例笔者采用 SAP 标准的。也是自己创建的,很简单的一个 Data Element,类型为 CHAR,长度为 2.依次给主表的 01,02,03 三个字段值维护对应的描述信息,最后效果如下。按照下面的字段结构,创建另一。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 4279

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Docker | Docker 快速搭建 TensorRT 环境(超详细)

利用Docker快速搭建TensorRT环境。我们平时训练 or 部署的环境, TensorFlow 和 Pytorch 有时候会出现兼容性导致的错误,如果线上已经部署了多个 TensorFlow 模型的情况下,后续要继续使用 TensorFlow 而不能使用 Pytorch 写的更好的网络,这导致我们在模型选型的时候很受制约。另外,我们如果直接使用 Python 部署的话,其作为解释语言的处理速度无法超过编译语言,这导致推理会比较耗时。借助 docker 容器的便捷性,更加能够快速进行TensorRT搭建

HinGwenWoong的博客 1万+

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Linux服务器下用docker进行深度学习环境的配置以及简单使用

一直都听说docker是一个很不错的工具,不需要复杂的环境配置,以及移植性很强。这次在给服务器配置完了深度学习环境后,也尝试了一下使用docker,因为之前没接触过docker,就稍微借鉴了几篇博客来梳理一下安装和使用的流程。 1.docker的安装 docker的安装主要是参考了博客教你如何用Docker快速搭建深度学习环境,直接参考这个博客来安装,基本上不会有什么错误发生,需...

remanented的博客 6958

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

Dockerfile 基于Docker快速部署深度学习环境

前言:Dockerfile可以快速部署一个特定环境的容器,用来运行深度学习模型,解决模型因为环境/版本不同而不能运行的问题。这篇博客主要解决ubuntu下通过Dockerfile创建容器。 1.Docker安装 这里可以参看我之前的博客ubuntu20.04下 nvidia-docker的安装并载入镜像 看完安装就好,镜像载入,创建容器的工作我们都可以通过Dockerfile实现。 2.准备工作 需要明确运行代码所需的python版本要求,依赖包的版本要求,特别是torch和tensorflow的版本。

weixin_45385568的博客 4210

快速搭建GPU环境 | docker、k8s中使用gpu

device-plugin 以 DaemonSet 方式运行到集群各个节点,以感知节点上的 GPU 设备,从而让 k8s 能够对节点上的 GPU 设备进行管理。nvidia-container-runtime 在中间拦截了容器 spec,就可以把 gpu 相关配置添加进去,再传给 runC 的 spec 里面就包含 gpu 信息了。调用链从 containerd --> runC 变成 containerd --> nvidia-container-runtime --> runC。

weixin_48711696的博客 4816

使用Docker搭建PyTorch深度学习环境的最佳实践

通过Docker容器化技术,一键搭建包含CUDA、PyTorch及开发工具的标准化深度学习环境,有效解决版本冲突与依赖混乱问题。利用预构建镜像实现多项目隔离、快速部署和团队协作,提升实验可复现性与开发效率,适用于从个人研究到企业级AI平台的各类场景。

weixin_35829279的博客 988

【docker】配置深度学习环境

问题与解决 容器启动后添加端口映射 一般添加端口自映射需要在生成容器的时候用-p指定映射规则,但如果当时忘记指定了或者后期需要新的映射规则,就需要这一步了 将现有的容器打包成镜像,然后在使用新的镜像运行容器时重新指定要映射的端口,比较暴力 直接修改当前容器的配置文件 首先是在hostconfig.json中添加如下: 然后在config.v2.json中添加如下两处:

可乐大牛的博客 2578

快速上手TensorFlow深度学习:Docker容器化环境搭建终极指南

TensorFlow-Course是一个精心设计的开源项目,专门为深度学习新手和普通用户提供简单易用的TensorFlow教程。无论你是机器学习初学者还是希望快速掌握TensorFlow的开发者,这个项目都能帮助你快速搭建深度学习环境并开始实践。本文将为你介绍如何通过Docker容器化技术,快速搭建一个稳定、可复现的TensorFlow深度学习环境,让你在几分钟内就能开始学习TensorFlow-

gitblog_01199的博客 560

docker构建镜像环境搭建深度学习开发环境

我想经常需要装环境的同学应该很烦,可能因为你的不小心,导致系统崩溃等等问题,或者环境需要装另一个版本的cuda,但是目前换可能不是很方便。这些我都遇到过,那么docker可以满足你的一切需求,你可以安装不同的环境,打包然后上传,下次就算是系统崩溃,也可以快速部署环境,不用浪费太多的时间,毕竟时间是最宝贵的。我在网上找了很多相关博客还是不会,然后结合大语言模型,和自己的实际操作,写了这篇文章,主要的目的是记录。那么接下来开始吧。

qq_34508123的博客 1525

Docker搭建tensorflow-gpu环境

前言:连续配了几个晚上,搞深度学习的环境,之前配成功过,但是这次再配的时候,发现遇到的坑和以前不一样,算了,直接上Docker大法,不想为环境再浪费宝贵的时间 首先我们先了解一下,docker配深度学习环境需要什么。 答:只需1.显卡驱动,2.docker 3.深度学习环境镜像 对就是这么简单。 1.首要的是显卡驱动,在下载显卡驱动之前先查一下,你即将要安装的版本,最低是多少。 ...

qq_31638535的博客 2699

使用Pycharm远程连接docker,打造pytorch深度学习环境

本文使用docker避免了复杂的深度学习环境搭建过程,同时解决了新入手RTX3090显卡的吃灰问题第一步:服务器中安装docker, nvidia-docker, docker-compose拉镜像docker容器设置在专业版Pycharm中配置远程环境 写在前面 楼主的个人服务器使用ubuntu 16.04系统,NVIDIA驱动已安装455.23.04 第一步:服务器中安装docker, nvidia-docker, docker-compose 将docker.sh文件上传至服务器,并在对应目录下运行

weixin_42128712的博客 2012
上一篇: [Effective Python] 用Pythonic方式来思考
EnergyOverflow
博客等级 码龄10年 1粉丝 15原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值