Docker Compose容器编排工具（编排nginx、部署consul）

一.docker-compose容器编排

1.Docker Compose概述

Docker Compose的前身是Fig，它是一个定义及运行多个Docker容器的工具

使用Docker Compose不再需要使用Shell脚本来启动容器

Docker Compose非常适合组合使用多个容器进行开发的场景

2.Docker Compose环境安装

[root@localhost ~]# curl -L https://github.com/docker/compose/releases/download/1.21.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
[root@localhost ~]# chmod +x /usr/local/bin/docker-compose
[root@localhost ~]# docker-compose-v

3.Docker Compose文件结构

[root@localhost compose_nginx]# vim docker-compose.yml

YAML是一种标记语言很直观的数据序列化格式

文件格式及编写注意事项

​ 不支持制表符tab键缩进，需要使用空格缩进

​ 通常开头缩进2个空格

​ 字符后缩进1个空格，如冒号、逗号、横杆

​ 用#号注释

​ 如果包含特殊字符用单引号引起来

​ 布尔值必须用引号括起来

[root@localhost compose_nginx]# cat docker-compose.yml 
version: '3'
services:
  nginx:
    hostname: nginx
    build:
      context: ./nginx
      dockerfile: Dockerfile
    ports:
      - 1216:80
      - 1217:443
    networks:
      - cluster
    volumes:
      - ./wwwroot:/usr/local/nginx/html
networks:
  cluster:

4.Docker Compose配置常用字段

字段	描述
build dockerfile context	指定Dockerfile文件名构建镜像上下文路径
image	指定镜像
command	指定命令，覆盖默认命令
container name	指定容器名称，由于容器名称是唯一的，如果指定自定义名称，则无法scale
deploy	指定部署和运行服务相关配置，只能在Swarm模式使用
environment	添加环境变量
networks	加入网络
ports	暴露容器端口，与-p相同，但端口不能低于60
volumes	挂载宿主机路径或命令卷
restart	重启策略，默认no,always,no-failure,unless-stoped
hostname	容器主机名

5.Docker Compose常用命令

字段	描述
build	重新构建服务
ps	列出容器
up	创建和启动容器
exec	在容器里面执行命令
scale	指定一个服务容器启动数量
top	显示容器进程
logs	查看容器输出
down	删除容器、网络、数据卷和镜像
stop/start/restart	停止/启动/重启服务

6.Compose命令说明

基本的使用格式

docker-compose [option] [COMMAND] [ARGS...]

docker-compose选项

​ --verbose输出更多调试信息

​ --version打印版本并退出

​ -f，–file FILE使用特定的compose模板文件，默认为docker-compose.yml

​ -p，–project-name NAME指定项目名称，默认使用目录名称

7.Docker网络通信

Docker单机网络拓扑图

端口映射

端口映射机制将容器内的服务提供给外部网络访问

可随机或指定映射端口范围

docker run -d -P http:centos
docker run -d -p 1000:80 httpd:centos

容器互联

在源容器和接收容器间建立一条网络通信隧道

使用docker run命令–link选项实现容器间互联通信

实现容器互联
docker run -d --name web1 httpd:centos
docker run -d --name web2 --link web1:web1 httpd:centos
docker exec -it web2 /bin/bash
ping web1

二.docker-compose编排nginx

1.安装docker环境

docker部署参考前几篇文章

2.下载docker-compose安装包

//加载官方源速度会慢一些
curl -L https://github.com/docker/compose/releases/download/1.21.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose

//可以在任何目录下使用compose命令
cp -p docker-compose /usr/local/bin

[root@localhost /]# docker-compose -v
docker-compose version 1.21.1, build 5a3f1a3

3.创建各个目录

mkdir /root/compose_nginx
cd /root/compose_nginx

//树状如下
[root@localhost compose_nginx]# tree ./
./
├── docker-compose.yml
├── nginx
│   ├── Dockerfile
│   └── nginx-1.12.2.tar.gz
└── wwwroot
    └── index.html

2 directories, 5 files

docker-compose.yml

[root@localhost compose_nginx]# cat docker-compose.yml 
version: '3'
services:
  nginx:
    hostname: nginx
    build:
      context: ./nginx
      dockerfile: Dockerfile
    ports:
      - 1216:80
      - 1217:443
    networks:
      - cluster
    volumes:
      - ./wwwroot:/usr/local/nginx/html
networks:
  cluster:

nginx

[root@localhost nginx]# cat Dockerfile 
FROM centos:7
MAINTAINER nginx
RUN yum -y update
RUN yum -y install pcre-devel zlib-devel gcc gcc-c++ make
RUN useradd -M -s /sbin/nologin nginx
ADD nginx-1.12.2.tar.gz /usr/local/src
WORKDIR /usr/local/src
WORKDIR nginx-1.12.2
RUN ./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-http_stub_status_module 
RUN make && make install
ENV PATH /usr/local/nginx/sbin:$PATH
EXPOSE 80
EXPOSE 443
RUN echo "daemon off;" >> /usr/local/nginx/conf/nginx.conf
CMD ["nginx"]

将nginx-1.12.2.tar.gz软件包放在同一级目录

/root/compose_nginx

[root@localhost compose_nginx]# cat wwwroot/index.html 
web1

使用docker-compose命令执行，与nginx同一级目录

docker-compose -f /root/compose_nginx/docker-compose.yml up -d

4.验证

访问http://192.168.100.128:1216

三.部署consul

1.Consul概述

Consul是HashiCorp公司退出的开源工具，用于实现分布式系统的服务发现与配置

Consul的特性

​ 支持健康检查，允许存储键值对

​ 基于Golong语言，可移植性强

​ 支持ACL访问控制

与Docker等轻量级容器可无缝配合

2.consul部署

服务器1	192.168.100.11	Docker-ce、Compose、Consul、Consul-template
服务器2	192.168.100.12	Docker-ce、registrator

Consul服务器

软件consul_0.9.2_linux_amd64.zip上传至root下
unzip consul_0.9.2_linux_amd64.zip
mv consul /usr/bin

consul agent \
-server \
-bootstrap \
-ui \
-data-dir=/var/lib/consul-data \
-bind=192.168.100.128 \
-client=0.0.0.0 \
-node=consul-server01 &> /var/log/consul.log &

//查看集群信息
[root@localhost ~]# consul members
Node             Address               Status  Type    Build  Protocol  DC
consul-server01  192.168.100.128:8301  alive   server  0.9.2  2         dc1

[root@localhost ~]# consul info | grep leader
	leader = true
	leader_addr = 192.168.100.128:8300

//通过httpd api获取集群信息
curl 127.0.0.1:8500/v1/status/peers		//查看集群server成员
curl 127.0.0.1:8500/v1/status/leader	//集群Raf leader
curl 127.0.0.1:8500/v1/catalog/services	//注册的所有服务
curl 127.0.0.1:8500/v1/catalog/nginx	//查看nginx服务信息
curl 127.0.0.1:8500/v1/catalog/nodes	//集群节点详细信息

1.容器服务自动加入nginx集群

1.安装Gliderlabs/Registrator Gliderlabs/Registrator可检查容器运行状态自动注册，还可注销docker容器的服务到服务配置中心，目前支持Consul、Etcd和SkyDNS2。
在192.168.100.12节点上，执行如下操作
docker run -d \
--name=registrator \
--net=host \
-v /var/run/docker.sock:/tmp/docker.sock \
--restart=always \
gliderlabs/registrator:latest \
-ip=192.168.100.130 \
consul://192.168.100.128:8500

2.测试服务发现功能是否正常
docker run -itd -p:83:80 --name test-01 -h test01 nginx
docker run -itd -p:84:80 --name test-02 -h test02 nginx
docker run -itd -p:88:80 --name test-03 -h test03 httpd
docker run -itd -p:89:80 --name test-04 -h test04 httpd

验证http和nginx服务是否注册到consul

在consul服务器上查看服务

curl 127.0.0.1:8500/v1/catalog/services
{“consul”:[],“httpd”:[],“nginx”:[]}

2.安装consul-template

Consul-Template是一个守护进程，用于实时查询Consul集群信息，并更新文件系统上任意数量的指定模板，生成配置文件。更新完成以后，可以选择运行shell命令执行更新操作，重新加载Nginx。Consul-Template可以查询Consul中的服务目录，key、key-values等。

这种强大的抽象功能和查询语言模版可以使Consul-Template特别适合动态的创建配置文件。例如，创建Apache/Nginx Proxy Balancers、Haproxy Backends

3.准备template nginx模块文件

//在consul上操作
vi /root/consul/nginx.ctmpl
upstream http_backend {
  {{range service "nginx"}}
  server {{.Address}}:{{.Port}};
  {{end}}
}

server {
  listen 83;
  server_name localhost 192.168.100.128;
  access_log /var/log/nginx/kgc.cn-access.log;
  index index.html index.php;
  location / {
    proxy_set_header HOST $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header Client-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_pass http://http_backend;
  }
}

4.编译安装nginx

yum -y install gcc gcc-c++ make pcre-devel zlib-devel
上传nginx-1.12.2.tar.gz至目录下
tar zxf nginx-1.12.2.tar.gz -C /opt
cd /opt/nginx-1.12.2/
./configure --prefix=/usr/local/nginx
make && make install

5.配置nginx

vi /usr/local/nginx/conf/nginx.conf

http {
    include       mime.types;
    include  vhost/*.conf;		//添加虚拟主机目录
    default_type  application/octet-stream;


//创建虚拟主机目录
mkdir /usr/local/nginx/conf/vhost
//创建日志文件目录
mkdir /var/log/nginx
//启动nginx
/usr/local/nginx/sbin/nginx

6.配置并启动template

上传consul-template_0.19.3_linux_amd64.zip到root
unzip consul-template_0.19.3_linux_amd64.zip
mv consul-template /usr/bin

consul-template -consul-addr 192.168.100.128:8500 -template "/root/consul/nginx.ctmpl:/usr/local/nginx/conf/vhost/kgc.conf:/usr/local/nginx/sbin/nginx -s reload" --log-level=info

打开另一个终端看生成的配置文件

[root@localhost ~]# cat /usr/local/nginx/conf/vhost/kgc.conf 
upstream http_backend {
  
  server 192.168.100.130:83;
  
  server 192.168.100.130:84;
  
}

server {
  listen 83;
  server_name localhost 192.168.100.128;
  access_log /var/log/nginx/kgc.cn-access.log;
  index index.html index.php;
  location / {
    proxy_set_header HOST $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header Client-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_pass http://http_backend;
  }
}

7.增加一个nginx容器节点

增加一个nginx容器节点，测试服务发现及配置更新功能
//在registrator服务端注册
docker run -itd -p:85:80 --name test-05 -h test05 nginx

//在consul服务器监控装填会有提示自动更新
2020/12/01 08:11:50.592508 [INFO] (runner) initiating run
2020/12/01 08:11:50.594064 [INFO] (runner) rendered "/root/consul/nginx.ctmpl" => "/usr/local/nginx/conf/vhost/kgc.conf"
2020/12/01 08:11:50.594094 [INFO] (runner) executing command "/usr/local/nginx/sbin/nginx -s reload" from "/root/consul/nginx.ctmpl" => "/usr/local/nginx/conf/vhost/kgc.conf"
2020/12/01 08:11:50.594126 [INFO] (child) spawning: /usr/local/nginx/sbin/nginx -s reload

//产看三台nginx容器日志，请求正常轮询到各个容器节点上
docker logs -f test-01
docker logs -f test-02
docker logs -f test-05

3.consul多节点

//添加一台已有docker环境的服务器192.168.100.131/24 加入已有的群集中

consul agent \
-server \
-bootstrap \
-ui \
-data-dir=/var/lib/consul-data \
-bind=192.168.100.131 \
-client=0.0.0.0 \
-node=consul-server02 \
-enable-script-checks=true \
-datacenter=dc1 \
-join 192.168.100.128 &> /var/log/consul.log &

-enable-script-checks=true     设置检查服务为可用
-datacenter=dc1                      数据中心名称
-join                                          加入已有的群集中

验证