目录
一.了解Docker (使用右侧目录)
一.了解Docker
1.Docker 概述
Docker是一个开源的应用容器引擎,基于go语言开发并遵循了apache2.0协议开源
Docker是在Linux容器里运行应用的开源工具,是一种轻量级的“虚拟机”
Docker的容器技术可以在一台主机上轻松为任何应用创建一个轻量级的、可移植的、自给自足的容器
Docker的Logo设计为蓝色鲸鱼,拖着许多集装箱
鲸鱼可看作为宿主机,集装箱可理解为相互隔离的容器,每个集装箱中都包含自己的应用程序
2.Docker的设计宗旨
Build,Ship and Run Any App,Anywhere
即通过对应用组件的封装、发布、部署、运行等生命周期的管理,达到应用组件级别的“一次封装,到处运行”的目的。这里的组件,既可以是一个应用,也可以是一套服务,甚至是一个完整的操作系统
3.为什么容器化越来越受欢迎
●灵活:即使是最复杂的应用也可以集装箱化。
●轻量级:容器利用并共享主机内核。
●可互换:可以即时部署更新和升级。
●便携式:可以在本地构建,部署到云,并在任何地方运行。
●可扩展:可以增加并自动分发容器副本。
●可堆叠:可以垂直和即时堆叠服务。
4.Docker与虚拟机的区别
容器是在linux上本机运行,并与其他容器共享主机的内核,它运行的是一个独立的进程,不占用其他任何可执行文件的内存,非常轻量
虚拟机运行的是一个完成的操作系统,通过虚拟机管理程序对主机资源进行虚拟访问,相比之下需要的资源更多
特性 | Docker容器 | 虚拟机 |
启动速度 | 秒级 | 分钟级 |
计算能力损耗 | 几乎无 | 损耗 50%左右 |
性能 | 接近原生 | 弱于 |
系统支持量(单机) | 上千个 | 几十个 |
隔离性 | 资源隔离/限制 | 完全隔离 |
5.容器在内核中支持的重要技术
docker本质就是宿主机的一个进程,docker是通过namespace实现资源隔离,通过cgroup实现资源限制,通过写时复制技术(copy-on-write)实现了高效的文件操作(类似虚拟机的磁盘比如分配500g并不是实际占用物理磁盘500g)
6.Docker核心概念
● 镜像
Docker的镜像是创建容器的基础,类似虚拟机的快照,可以理解为一个面向 Docker 容器引擎的只读模板
通过镜像启动一个容器,一个镜像是一个可执行的包,其中包括运行应用程序所需要的所有内容包含代码,运行时间,库、环境变量、和配置文件
● 容器
Docker的容器是从镜像创建的运行实例,它可以被启动、停止和删除。所创建的每一个容器都是相互隔离、互不可见,以保证平台的安全性
可以把容器看做是要给简易版的linux环境(包括root用户权限、镜像空间、用户空间和网络空间等)和运行在其中的应用程序。
● 仓库
Docker仓库是用来集中保存镜像的地方,当创建了自己的镜像之后,可以使用push命令将它上传到公有仓库(Public)或者私有仓库(Private)。当下次要在另外一台机器上使用这个镜像时,只需从仓库获取
Docker 的镜像、容器、日志等内容全部都默认存储在 /var/lib/docker 目录下。
二.安装Docker
目前 Docker 只能支持 64 位系统。
关闭防火墙
systemctl stop firewalld.service
setenforce 0
安装依赖包
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-utils:提供了 yum-config-manager 工具。
device mapper: 是Linux内核中支持逻辑卷管理的通用设备映射机制,它为实现用于存储资源管理的块设备驱动提供了一个高度模块化的内核架构。
device mapper存储驱动程序需要 device-mapper-persistent-data 和 lvm2。
设置阿里云镜像源
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
安装 Docker-CE并设置为开机自动启动
yum install -y docker-ce
systemctl start docker.service
systemctl enable docker.service
查看 docker 版本信息
docker version
三.Docker 镜像操作
1.搜索镜像
格式:docker search 关键字
例:
docker search nginx
2.获取镜像
格式:docker pull 仓库名称[:标签]
如果下载镜像时不指定标签,则默认会下载仓库中最新版本的镜像,即选择标签为 latest 标签。例:
docker pull nginx
3.镜像加速下载
浏览器访问 https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors 获取镜像加速器配置
mkdir -p /etc/docker
tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://mcx6n5lx.mirror.aliyuncs.com"]
}
EOF
systemctl daemon-reload
systemctl restart docker
4.查看镜像信息
镜像下载后存放在
/var/lib/docker
查看下载的镜像文件信息
cat /var/lib/docker/image/overlay2/repositories.json
查看下载到本地的所有镜像
docker images
REPOSITORY | 镜像属于的仓库 |
TAG | 镜像的标签信息,标记同一个仓库中的不同镜像 |
IMAGE ID | 镜像的唯一ID 号,唯一标识一个镜像 |
VIRTUAL SIZE | 镜像大小 |
5.根据镜像的唯一标识 ID 号,获取镜像详细信息
格式:docker inspect 镜像ID号
例:
docker inspect f8f4ffc8092c
6.为本地的镜像添加新的标签
格式:docker tag 名称:[标签] 新名称:[新标签]
例:
docker tag nginx:latest nginx:web
docker images | grep nginx
7.删除镜像
当一个镜像有多个标签时,只是删除其中指定的标签
格式:
docker rmi 仓库名称:标签
或者
docker rmi 镜像ID号 #会彻底删除该镜像
注意:如果该镜像已经被容器使用,正确的做法是先删除依赖该镜像的所有容器,再去删除镜像。
8.将镜像保存成为本地文件(存储镜像)
格式:docker save -o 存储文件名 存储的镜像
例:
docker save -o nginx nginx:latest #存出镜像命名为nginx存在当前目录下
9.将镜像文件导入到镜像库中(载入镜像)
格式:
docker load < 存出的文件
或者
docker load -i 存出的文件
docker load < nginx
10.上传镜像
默认上传到 docker Hub 官方公共仓库,需要注册使用公共仓库的账号。
https://hub.docker.com
可以使用 docker login 命令来输入用户名、密码和邮箱来完成注册和登录。
在上传镜像之前,还需要先对本地镜像添加新的标签,然后再使用 docker push 命令进行上传
docker tag nginx:latest nginx:web #添加新的标签
docker login #登录公共仓库
Username:
password:
docker push wl/nginx:web #上传镜像
具体过程详见:Docker-上传镜像_qk-优快云博客_docket上传镜像
四.Docker 容器操作
1.容器创建
就是将镜像加载到容器的过程。
新创建的容器默认处于停止状态,不运行任何程序,需要在其中发起一个进程来启动容器。
格式:docker create [选项] 镜像
常用选项:
-i | 让容器的输入保持打开 |
-t | 让 Docker 分配一个伪终端 |
例:
docker create -it nginx:latest /bin/bash
2.查看容器的运行状态
docker ps -a #-a 选项可以显示所有的容器
3.启动容器
格式:docker start 容器的ID/名称
例:
docker start 12a87fc485f3
docker ps -a
4.创建并启动容器
可以直接执行 docker run 命令, 等同于先执行 docker create 命令,再执行 docker start 命令。
注意:容器是一个与其中运行的 shell 命令共存亡的终端,命令运行容器运行, 命令结束容器退出。
当利用 docker run 来创建容器时, Docker 在后台的标准运行过程是:
(1)检查本地是否存在指定的镜像。当镜像不存在时,会从公有仓库下载;
(2)利用镜像创建并启动一个容器;
(3)分配一个文件系统给容器,在只读的镜像层外面挂载一层可读写层;
(4)从宿主主机配置的网桥接口中桥接一个虚拟机接口到容器中;
(5)分配一个地址池中的 IP 地址给容器;
(6)执行用户指定的应用程序,执行完毕后容器被终止运行。
docker run centos:7 /usr/bin/bash -c ls /
docker ps -a #会发现创建了一个新容器并启动执行一条 shell 命令,之后就停止了
5.在后台持续运行 docker run 创建的容器
需要在 docker run 命令之后添加 -d 选项让 Docker 容器以守护形式在后台运行。并且容器所运行的程序不能结束。
docker run -d centos:7 /usr/bin/bash -c "while true;do echo hello;done"
docker ps -a #可以看出容器始终处于 UP,运行状态
docker run -itd --name test1 centos:7 /bin/bash
6.终止容器运行
格式:docker stop 容器的ID/名称
例:
方法一:
docker stop 容器id/名称
方法二:
docker kill 容器id/名称 #直接杀死进程
7.容器的进入
需要进入容器进行命令操作时,可以使用 docker exec 命令进入运行着的容器。
格式:docker exec -it 容器ID/名称 /bin/bash
-i 选项表示让容器的输入保持打开;
-t 选项表示让 Docker 分配一个伪终端。
例:
docker start 2592d3fad0fb #进入容器前,确保容器正在运行
docker exec -it 2592d3fad0fb /bin/bash
ls
exit #退出容器后,容器仍在运行
docker ps -a
8.容器的导出与导入
用户可以将任何一个 Docker 容器从一台机器迁移到另一台机器。在迁移过程中,可以使用docker export 命令将已经创建好的容器导出为文件,无论这个容器是处于运行状态还是停止状态均可导出。可将导出文件传输到其他机器,通过相应的导入命令实现容器的迁移。
导出格式:docker export 容器ID/名称 > 文件名
例:
docker export 3800b511f1fd > centos7.tar
导入格式:cat 文件名 | docker import – 镜像名称:标签
例:
cat centos7tar | docker import - centos7:test #导入后会生成镜像,但不会创建容器
9.删除容器
格式:docker rm [-f] 容器ID/名称
例:
docker rm 2592d3fad0fb #删除已经终止状态的容器
docker rm -f 2592d3fad0fb #强制删除正在运行的容器
docker ps -a | awk 'NR>=2{print "docker stop "$1}' | bash #批量停止容器
docker ps -a | awk 'NR>=2{print "docker rm "$1}' | bash #批量删除所有容器
docker images | awk 'NR>=2{print "docker rmi "$3}' | bash #批量删除镜像
docker logs id号或者容器名 #查看日志
五.Docker 网络
1.Docker 网络实现原理
•Docker使用Linux桥接,在宿主机虚拟一个Docker容器网桥(docker0),Docker启动一个容器时会根据Docker网桥的网段分配给容器一个IP地址,称为Container-IP,同时Docker网桥是每个容器的默认网关。因为在同一宿主机内的容器都接入同一个网桥,这样容器之间就能够通过容器的 Container-IP 直接通信。
• Docker网桥是宿主机虚拟出来的,并不是真实存在的网络设备,外部网络是无法寻址到的,这也意味着外部网络无法直接通过 Container-IP 访问到容器。如果容器希望外部访问能够访问到,可以通过映射容器端口到宿主主机(端口映射),即 docker run 创建容器时候通过 -p 或 -P 参数来启用,访问容器的时候就通过[宿主机IP]:[容器端口]访问容器。
docker run -d --name test3 -P nginx
#随机映射端口( 从32768开始)
docker run -d --name test4 -p 43000:80 nginx
#指定映射端口
浏览器访问验证:
http://192.168.111.171:43000
http://192.168.111.171:49153
2.Docker 的网络模式
●Host:容器将不会虚拟出自己的网卡,配置自己的IP等,而是使用宿主机的IP和端口。
●Container:创建的容器不会创建自己的网卡,配置自己的IP,而是和一个指定的容器共享IP、端口范围。
●None:该模式关闭了容器的网络功能。
●Bridge:默认为该模式,此模式会为每一个容器分配、设置IP等,并将容器连接到一个docker0虚拟网桥,通过docker0网桥以及iptables nat 表配置与宿主机通信。
●自定义网络
3.指定容器的网络模式
使用docker run创建Docker容器时,可以用 --net 或 --network 选项指定容器的网络模式
●host模式:使用 --net=host 指定。
●none模式:使用 --net=none 指定。
●container模式:使用 --net=container:NAME_or_ID 指定。
●bridge模式:使用 --net=bridge 指定,默认设置,可省略。
安装Docker时,它会自动创建三个网络,bridge(创建容器默认连接到此网络)、 none 、host
docker network ls #查看docker网络列表
4.网络模式详解
host模式
相当于Vmware中的桥接模式,与宿主机在同一个网络中,但没有独立IP地址。
Docker使用了Linux的Namespaces技术来进行资源隔离,如PID Namespace隔离进程,Mount Namespace隔离文件系统,Network Namespace隔离网络等。
一个Network Namespace提供了一份独立的网络环境,包括网卡、路由、iptable规则等都与其他的Network Namespace隔离。 一个Docker容器一般会分配一个独立的Network Namespace。 但如果启动容器的时候使用host模式,那么这个容器将不会获得一个独立的Network Namespace, 而是和宿主机共用一个Network Namespace。容器将不会虚拟出自己的网卡、配置自己的IP等,而是使用宿主机的IP和端口。
container模式
在理解了host模式后,这个模式也就好理解了。这个模式指定新创建的容器和已经存在的一个容器共享一个Network Namespace,而不是和宿主机共享。新创建的容器不会创建自己的网卡,配置自己的IP,而是和一个指定的容器共享IP、端口范围等。同样,两个容器除了网络方面,其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过lo网卡设备通信。
docker inspect -f '{{.State.Pid}}' 33800b511f1fd #查看容器进程号
ls -l /proc/2633/ns #查看容器的进程、 网络、文件系统等命名空间编号
none模式
使用none模式,Docker容器拥有自己的Network Namespace,但是,并不为Docker容器进行任何网络配置。 也就是说,这个Docker容器没有网卡、IP、路由等信息。这种网络模式下容器只有lo回环网络,没有其他网卡。这种类型的网络没有办法联网,封闭的网络能很好的保证容器的安全性。
Bridge模式
bridge模式是docker的默认网络模式,不写--net参数,就是bridge模式。
相当于Vmware中的 nat 模式,容器使用独立network Namespace,并连接到docker0虚拟网卡。通过docker0网桥以及iptables nat表配置与宿主机通信,此模式会为每一个容器分配Network Namespace、设置IP等,并将一个主机上的 Docker 容器连接到一个虚拟网桥上。
(1)当Docker进程启动时,会在主机上创建一个名为docker0的虚拟网桥,此主机上启动的Docker容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似,这样主机上的所有容器就通过交换机连在了一个二层网络中。
(2)从docker0子网中分配一个IP给容器使用,并设置docker0的IP地址为容器的默认网关。在主机上创建一对虚拟网卡veth pair设备。veth设备总是成对出现的,它们组成了一个数据的通道,数据从一个设备进入,就会从另一个设备出来。因此,veth设备常用来连接两个网络设备。
(3)Docker将veth pair 设备的一端放在新创建的容器中,并命名为eth0(容器的网卡),另一端放在主机中, 以veth*这样类似的名字命名,并将这个网络设备加入到docker0网桥中。可以通过 brctl show 命令查看。
(4)使用 docker run -p 时,docker实际是在iptables做了DNAT规则,实现端口转发功能。可以使用iptables -t nat -vnL 查看。
5.自定义网络
直接使用bridge,无法支持指定IP运行docker
可以先自定义网络,再使用指定IP运行docker
docker network create --subnet=172.18.0.0/24 mynetwork
docker run -itd --name test9 --net mynetwork --ip 172.18.0.10 centos:7 /bin/bash
进入容器后无法使用ifconfig命令查看ip地址,需手动安装组件才能使用此命令
yum install -y net-tools
六.资源控制
1.CPU 资源控制
cgroups,是一个非常强大的linux内核工具,他不仅可以限制被 namespace 隔离起来的资源, 还可以为资源设置权重、计算使用量、操控进程启停等等。 所以 cgroups( Control groups) 实现了对资源的配额和度量。
2.cgroups四大功能
●资源限制:可以对任务使用的资源总额进行限制
●优先级分配:通过分配的cpu时间片数量以及磁盘IO带宽大小,实际上相当于控制了任务运行优先级
●资源统计:可以统计系统的资源使用量,如cpu时长,内存用量等
●任务控制:cgroup可以对任务执行挂起、恢复等操作
3.设置CPU使用率上限
Linux 通过 CFS(Completely Fair Scheduler,完全公平调度器)来调度各个进程对 CPU 的使用。CFS 默认的调度周期是 100ms。(10万微秒)
我们可以设置每个容器进程的调度周期,以及在这个周期内各个容器最多能使用多少 CPU 时间。
使用 --cpu-period 即可设置调度周期,使用 --cpu-quota 即可设置在每个周期内容器能使用的 CPU 时间。两者可以配合使用。
CFS 周期的有效范围是 1ms~1s,对应的 --cpu-period 的数值范围是 1000~100000。
而容器的 CPU 配额必须不小于 1ms,即 --cpu-quota 的值必须 >= 1000。
启用一台容器:
docker run -itd --name test1 centos:7 /bin/bash
cpu.cfs_period_us:cpu分配的周期(微秒,所以文件名中用 us 表示),默认为100000。
cpu.cfs_quota_us:表示该control group限制占用的时间(微秒),默认为-1,表示不限制。 如果设为50000,表示占用50000/100000=50%的CPU。
进行CPU压力测试
编写一个脚本:
docker exec -it 3ed82355f811 /bin/bash
vim /cpu.sh
#!/bin/bash
i=0
while true
do
let i++
done
运行:
chmod +x /cpu.sh
./cpu.sh
exit
设置50%的比例分配CPU使用时间上限
docker run -itd --name test2 --cpu-quota 50000 centos:7 /bin/bash #可以重新创建一个容器并设置限额
或者
cd /sys/fs/cgroup/cpu/docker/3ed82355f81151c4568aaa6e7bc60ba6984201c119125360924bf7dfd6eaa42b/
echo 50000 > cpu.cfs_quota_us
docker exec -it 3ed82355f811 /bin/bash
./cpu.sh
exit
4.设置CPU资源占用比(设置多个容器时才有效)
Docker 通过--cpu-shares 指定 CPU 份额,默认值为1024,值为1024的倍数。
例:
创建两个容器为 c1 和 c2,若只有这两个容器,设置容器的权重,使得c1和c2的CPU资源占比为1/3和2/3。
docker run -itd --name c1 --cpu-shares 512 centos:7
docker run -itd --name c2 --cpu-shares 1024 centos:7
分别进入容器,进行压力测试
yum install -y epel-release
yum install stress -y
stress -c 4
5.设置容器绑定指定的CPU
先分配虚拟机4个CPU核数
创建容器
docker run -itd --name cc1 --cpuset-cpus 1,3 centos:7 /bin/bash
进入容器,进行压力测试
yum install -y epel-release
yum install stress -y
stress -c 4
exit
退出容器,执行 top 命令再按 1 查看CPU使用情况
6.对磁盘IO配额控制(blkio)的限制
--device-read-bps:限制某个设备上的读速度bps(数据量),单位可以是kb、mb(M)或者gb。
例:
docker run -itd --name test4 --device-read-bps /dev/sda:1M centos:7 /bin/bash
--device-write-bps : 限制某个设备上的写速度bps(数据量),单位可以是kb、mb(M)或者gb。
例:
docker run -itd --name test5 --device-write-bps /dev/sda:1M centos:7 /bin/bash
--device-read-iops :限制读某个设备的iops(次数)
--device-write-iops :限制写入某个设备的iops(次数)
创建容器,并限制写速度
docker run -it --name cc3 --device-write-bps /dev/sda:1mb centos:7 /bin/bash
通过dd来验证写速度
dd if=/dev/zero of=test.out bs=1M count=10 oflag=direct #添加oflag参数以规避掉文件系统cache
七.Docker数据管理
1.数据卷
数据卷是一个供容器使用的特殊目录,位于容器中。可将宿主机的目录挂载到数据卷上,对数据卷的修改操作立刻可见,并且更新数据不会影响镜像,从而实现数据在宿主机与容器之间的迁移。数据卷的使用类似于Linux下对目录进行的mount操作。
例:
先下载一个镜像
docker pull centos: 7
宿主机目录/var/www挂载到容器中的/data1。
注意:宿主机本地目录的路径必须是使用绝对路径。如果路径不存在,Docker会自动创建相应的路径。
docker run -V /var/www:/data1 --name web1 -it centos:7 /bin/bash
#-v选项可以在容器内创建数据卷
ls
echo "this is cc1" > /data1/abc.txt
exit
#返回宿主机进行查看
cat /var/www/abc.txt
2.数据卷容器
如果需要在容器之间共享一些数据,最简单的方法就是使用数据卷容器。数据卷容器是一个普通的容器,专门提供数据卷给其他容器挂载使用。
例:
创建一个容器作为数据卷容器
docker run --name web2 -v /data1 -v /data2 -it centos:7 /bin/bash
echo "this is web2" > /data1/abc.txt
echo "THIS IS WEB2" > /data2/ABC.txt
使用 --volumes-from来挂载web2容器中的数据卷到新的容器
docker run -it --volumes-from web2 --name web3 centos: 7 /bin/bash
cat /data1 /abc.txt
cat /data2/ABC.txt
3.端口映射
在启动容器的时候,如果不指定对应的端口,在容器外是无法通过网络来访问容器内的服务。端口映射机制将容器内的服务提供给外部网络访问,实质上就是将宿主机的端口映射到容器中,使得外部网络访问宿主机的端口便可访问容器内的服务。
docker run -d --name test1 -P nginx
#随机映射端口( 从32768开始)
docker run -d --name test2 -p 43000:80 nginx
#指定映射端口
4.容器互联(使用centos镜像)
容器互联是通过容器的名称在容器间建立一条专门的网络通信隧道。简单点说,就是会在源容器和接收容器之间建立一条隧道,接收容器可以看到源容器指定的信息
例:
创建并运行源容器取名xx1
docker run -itd -P --name xx1 centos:7 /bin/bash
创建并运行接收容器取名xx2,使用--1ink选项指定连接容器以实现容器互联
docker run -itd -P --name xx2 --link xx1:xx2 centos:7 /bin/bash
进xx2容器,ping xxl
docker exec -it xx2 bash