深度学习环境配置——1.3 docker基础配置

数分在路上

已于 2024-11-14 21:05:56 修改

阅读量1k

点赞数 21

分类专栏：数据闭环&深度学习---环境搭建文章标签： docker 深度学习数据挖掘机器学习神经网络服务器

于 2024-11-10 01:03:11 首次发布

本文链接：https://blog.youkuaiyun.com/m0_59148663/article/details/143653687

版权

数据闭环&深度学习---环境搭建专栏收录该内容

7 篇文章

订阅专栏

1.1 系统环境搭建

制作系统盘 & ubuntu20系统安装 &机械盘挂载 & 网络配置 &RAID简介

1.2 ubuntu常见基础配置

软件的配置& 基础软件安装 &搜狗输入法配置&远程SSH相关&系统默认内核&数据闭环设备

GPU驱动安装&nvidia docker&深度学习镜像查找拉取&深度学习容器创建&容器导出为镜像

1.5 环境搭建附录

anconda安装&conda环境创建&pytorch-gpu安装&容器基础配置错误集&cuda安装&cudnn安装

1.6 数据闭环搭建&docker补充

机械盘热插拔&NFS远程挂载&数据闭环系统&docker简介&docker基本概念&docker数据卷

1.7 linux基础&vscode

linux常见基础命令&vscode编辑器搭建&vscode虚拟环境使用&vscode的debug功能&vscode远程链接服务器

1.1 系统环境搭建

制作系统盘 & ubuntu20系统安装 &机械盘挂载 & 网络配置 &RAID简介

1.2 ubuntu常见基础配置

软件的配置& 基础软件安装 &搜狗输入法配置&远程SSH相关&系统默认内核&数据闭环设备

1.3 docker基础配置

背景：日常数据开发中，常使用docker作为跨服务器的环境配置，本节介绍基本的docker安装与相关配置内容，确保工具可被使用。

1. docker安装

卸载旧版本docker：apt-get remove docker docker-engine docker.io containerd runc

注释：docker旧版本不一定被称为docker，docker.io 或 docker-engine也可能

更新软件包：sudo apt-get update sudo apt-get upgrade
安装docker依赖包：sudo apt-get install apt-transport-https ca-certificates software-properties-common curl
添加Docker阿里云GPG密钥（官方慢）：curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
添加Docker软件源（阿里云）：

echo "deb [arch=amd64 signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

更新软件列表：sudo apt-get update
安装docker：sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
查看docker版本： sudo docker version

参考链接：最详细的ubuntu 安装 docker教程 - 知乎

2. 镜像拉取加速

基本方法：添加阿里云docker镜像加速器
登录账号（自己注册），访问镜像服务：

阿里云登录 - 欢迎登录阿里云，安全稳定的云计算服务平台欢迎登录阿里云，全球领先的云计算及人工智能科技公司，阿里云为200多个国家和地区的企业、开发者和政府机构提供云计算基础服务及解决方案。阿里云云计算、安全、大数据、人工智能、企业应用、物联网等云计算服务。https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors

备份文件：sudo cp /etc/docker/daemon.json /etc/docker/daemon.json.bak
打开配置文件：sudo vim /etc/docker/daemon.json
写入查找信息：如下图，注意需要添加逗号

重新加载配置文件：sudo systemctl daemon-reload
重启docker服务：sudo systemctl restart docker
验证配置信息： sudo docker info 如下图

验证docker是否安装成功：sudo docker run hello-world

注释：原来没有拉取过hello-world，本地没有该镜像，自动拉取。

3. 去除sudo限制

基本思路： 将当前用户加入docker组
创建或检查docker用户组：sudo groupadd docker #已存在即可
将当前用户添加到docker用户组：sudo usermod -aG docker $USER

注释：$USER是一个环境变量，代表当前登录的用户名

退出并重新登录终端：exit
验证是否更改：groups $USER

4. 修改镜像位置

查看存储位置：sudo docker info | grep "Docker Root Dir"

注释：一般默认为 /var/lib/docker；查看内存大小df -h /var/lib/docker

创建存储文件：mkdir /home/user/deep_learning/docker_date
进入文件夹： cd /home/user/deep_learning/docker_date
复制原始文件： sudo cp -r /var/lib/docker . #注意后面点

注释：原始的文件夹可以删除了

修改docker配置文件："data-root": “/home/user/deep_learning/docker_date/docker”

注释：如果写错了可以用在线json查看工具查看格式

重启服务&查看位置

sudo systemctl daemon-reload
sudo systemctl restart docker
sudo docker info | grep "Docker Root Dir"

5. docker compose

作用：将所有的操作集成到 docker-compose.yml 文件中，实现一条简单的命令docker-compose up 启动多个容器，并且可以在容器之间建立网络连接，非常方便，简化了很多操作。
使用步骤：利用dockerfile定义运行环境镜像 --> 使用docker-compose.yml 定义组成应用的各服务 --> 运行docker-compose up 启动应用
安装软件: sudo apt-get install docker-compose 前提：有docker
验证安装：docker-compose -version 查看版本
卸载docker compose：rm /usr/bin/ docker-compose

6. docker 命令汇总

docker服务命令

启动docker： sudo systemctl start docker
停止docker： sudo systemctl stop docker
重启docker： sudo systemctl restart docker
查看docker服务状态： sudo systemctl status docker 
设置开启启动docker服务： sudo systemctl enable docker
关闭docker进程： sudo killall docker
查看docker中进程id：docker top 容器ID

docker 镜像相关

下载指定版本的镜像：sudo docker pull 镜像名[：版本号]   
查看本地镜像：sudo docker images
修改镜像名称： sudo docker tag 镜像名：标记 新镜像名：新标记
删除机器上镜像：sudo docker rmi 镜像ID
删除同image_id的镜像：sudo docker rmi  镜像名：标记

有以下两种情况无法删除镜像：1）存在基于其创建的容器；2）存在依赖于该镜像的其他镜像（多层存储）

docker容器

终止机器上容器： sudo docker stop 容器ID
启动停止容器： sudo docker start容器名称    状态变成up
重启运行容器： sudo docker restart 容器名称
进入容器：sudo docker exec -it 容器名称 /bin/bash
修改容器名称： sudo docker rename 原始容器名称 新的容器名称
删除容器： sudo docker rm 容器ID
查看机器上所有容器： sudo docker ps -a

docker导入&导出

拉取镜像： docker pull 镜像名：版本号


本地容器打包成镜像：sudo docker commit 容器id 镜像名：版本号（tag）

加载本地镜像：sudo docker load –i 压缩镜像名（tar）