Linux----Docker容器的consul容器服务更新与发现

consul是什么？

consul是google开源的一个使用go语言开发的服务发现、配置管理中心服务。内置了服务注册与发现框 架、分布一致性协议实现、健康检查、Key/Value存储、多数据中心方案，不再需要依赖其他工具（比如ZooKeeper等）。服务部署简单，只有一个可运行的二进制的包。每个节点都需要运行agent，他有两种运行模式server和client。每个数据中心官方建议需要3或5个server节点以保证数据安全，同时保证server-leader的选举能够正确的进行。

Consul是一个分布式、高可用的系统，是一个为了解决在生产环境中服务注册，服务发现，服务配置的一个工具，它有多个组件，提供如下几个关键功能：

• 服务发现：Consul的某些客户端可以提供一个服务，例如api或者mysql，其它客户端可以使用Consul去发现这个服务的提供者。使用DNS或者HTTP，应用可以很容易的找到他们所依赖的服务。
• 健康检查：Consul客户端可以提供一些健康检查，这些健康检查可以关联到一个指定的服务（服务是否返回200 OK），也可以关联到本地节点（内存使用率是否在90%以下）。这些信息可以被一个操作员用来监控集群的健康状态，被服务发现组件路由时用来远离不健康的主机。
• 键值存储：应用可以使用Consul提供的分层键值存储用于一些目的，包括动态配置、特征标记、协作、leader选举等等。通过一个简单的HTTP API可以很容易的使用这个组件。
• 多数据中心：Consul对多数据中心有非常好的支持，这意味着Consul用户不必担心由于创建更多抽象层而产生的多个区域。

client

• CLIENT表示consul的client模式，就是客户端模式。是consul节点的一种模式，这种模式下，所有注册到当前节点的服务会被转发到SERVER，本身是不持久化这些信息。

server

• SERVER表示consul的server模式，表明这个consul是个server，这种模式下，功能和CLIENT都一样，唯一不同的是，它会把所有的信息持久化的本地，这样遇到故障，信息是可以被保留的。

server-leader

• 中间那个SERVER下面有LEADER的字眼，表明这个SERVER是它们的老大，它和其它SERVER不一样的一点是，它需要负责同步注册的信息给其它的SERVER，同时也要负责各个节点的健康监测

服务发现协议

• consul采用http和dns协议，etcd只支持http

服务注册

• consul支持两种方式实现服务注册，一种是通过consul的服务注册http API，由服务自己调用API实现注册，另一种方式是通过json个是的配置文件实现注册，将需要注册的服务以json格式的配置文件给出

服务间的通信协议

• Consul使用gossip协议管理成员关系、广播消息到整个集群，他有两个gossip  pool（LAN pool和WAN pool），LAN pool是同一个数据中心内部通信的，WAN pool是多个数据中心通信的，LAN pool有多个，WAN pool只有一个。

 

容器服务更新与发现拓扑图

 

实验环境

IP	角色	软件包
192.168.179.165	部署docker-ce和consul consul-template	consul_0.9.2_linux_amd64.zip consul-template_0.19.3_linux_amd64.zip nginx-1.12.2.tar.gz
192.168179.166	部署docker-ce和registrator

搭建consul服务 

创建工作目录，并上传软件包
[root@localhost /]# mkdir /root/consul
[root@localhost consul]# ls
consul_0.9.2_linux_amd64.zip  consul-template_0.19.3_linux_amd64.zip  nginx-1.12.2.tar.gz

解压缩包，并将命令放到系统识别的目录中
[root@localhost consul]# unzip consul_0.9.2_linux_amd64.zip 
[root@localhost consul]# unzip consul-template_0.19.3_linux_amd64.zip
[root@localhost consul]# mv consul /usr/bin/
[root@localhost consul]# mv consul-template /usr/bin/
           
搭建consul服务
consul agent \        #使用代理功能
-server \             #提供server功能
-bootstrap \          #参与选举为领袖
-ui \                 #提供web页面
-data-dir=/var/lib/consul-data \      #参数存储位置
-bind=192.168.179.165 \               #绑定本地IP地址
-client=0.0.0.0 \                     #所有节点可以访问
-node=consul-server01 &> /var/log/consul.log &    #后台执行

查看集群信息
[root@localhost consul]# consul members
Node             Address               Status  Type    Build  Protocol  DC
consul-server01  192.168.179.165:8301  alive   server  0.9.2  2         dc1
[root@localhost consul]# consul info | grep "leader"
	leader = true
	leader_addr = 192.168.179.165:8300

搭建Registrator自动发现服务

[root@localhost docker]# docker run -d \        
> --name=registrator \            #指定名称
> --net=host \                    #指定网络
> -v /var/run/docker.sock:/tmp/docker.sock \        #指定数据卷
> --restart=always \                                #重启功能
> gliderlabs/registrator:latest \                    #镜像名称
> -ip=192.168.179.166 \                              #本地IP地址
> consul://192.168.179.165:8500                      #consul服务端地址  

测试服务发现功能是否正常
[root@localhost docker]# docker run -itd -p 83:80 --name test-01 -h test01 nginx
[root@localhost docker]# docker run -itd -p 85:80 --name test-03 -h test03 httpd

在consul服务器查看服务状态信息
curl 127.0.0.1:8500/v1/catalog/services
[root@localhost consul]# curl 127.0.0.1:8500/v1/catalog/services
{"consul":[],"httpd":[],"nginx":[]}[root@localhost consul]# 

 

在consul安装配置template

Consul-Template. 是一个守护进程，用于实时查询Consul 集群信息，
并更新文件系统上任意数量的拍定模板，生成配置文件。更新完成以后，
可以选择运行shel1 命令执行更新操作，重新加载Nginx. Consul-Template
可以查询Consul 中的服务日录、Key、Key-values等。
这种强大的抽象功能和查询语言模板可以使Consul-Template特别适合动态的创建配置文件。
例如:创建Apache/Nginx Proxy ，Balancers，Haproxy ，Backends

准备template nginx模板
vim /root/consul/nginx.ctmpl

upstream http_backend {
	{{range service "nginx"}}
	server {{.Address}}:{{.Port}};
        {{end}}
}

server {
	listen 1216;
	server_name localhost 192.168.179.165;
	access_log /var/log/nginx/kgc.cn-access.log
	index index.html index.php;
	localtion / {
	proxy_set_header HOST $host;
	proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header Client-IP $remote_addr;
	proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
	proxy_pass http://http_backend;
        }
}

编译安装nginx，作为反向代理功能

tar zxvf nginx-1.12.2.tar.gz -C /opt

安装环境依赖包
yum install make gcc gcc-c++ pcre pcre-devel zlib-devel -y

./configure \
--prefix=/usr/local/nginx/

make && make install

ln -s /usr/local/nginx/sbin/* /usr/local/sbin

修改主配置文件
http {字段添加
	include	vhost/*.conf;

创建日志文件
mkdir -p /var/log/nginx/

启动
nginx	

配置template服务

启用模板
consul-template -consul-addr 192.168.179.165:8500 \
-template "/root/consul/nginx.ctmpl:/usr/local/nginx/conf/vhost/kgc.conf:/usr/local/nginx/sbin/nginx -s reload" \
--log-level=info

查看kgc.conf配置文件
[root@localhost vhost]# cat /usr/local/nginx/conf/vhost/kgc.conf 
upstream http_backend {
  
  server 192.168.179.166:83;
  
  server 192.168.179.166:84;
  
}

server {
  listen 1216;
  server_name localhost 192.168.179.165;
  access_log /var/log/nginx/kgc.cn-access.log;
  index index.html index.php;
  location / {
    proxy_set_header HOST $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header Client-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_pass http://http_backend;
	}
}

访问代理服务器192.168.179.165：1216

查看容器的访问日志，在registry服务器查看容器状态
[root@localhost docker]# docker ps -a
1b8ef2214f8c        nginx                           "nginx -g 'daemon of…"   2 hours ago         Up 2 hours          0.0.0.0:84->80/tcp   test-02
810ddff6a82c        nginx                           "nginx -g 'daemon of…"   2 hours ago         Up 2 hours          0.0.0.0:83->80/tcp   test-01

分别查看test-01和test-02的访问日志

在registrator服务端注册，增加一个nginx容器

创建容器
[root@localhost docker]# docker run -itd -p 88:80 --name test-04 -h test04 nginx
46a4ff918af9f758513fb5a2dd68d94cea506e5991e7ac3698bb2b50ffd3dbca
[root@localhost docker]# docker ps -a
CONTAINER ID        IMAGE                           COMMAND                  CREATED             STATUS              PORTS                NAMES
46a4ff918af9        nginx                           "nginx -g 'daemon of…"   6 seconds ago       Up 5 seconds        0.0.0.0:88->80/tcp   test-04

consul服务端的监控自动更新信息
2020/04/22 16:25:52.316871 [INFO] (child) spawning: /usr/local/nginx/sbin/nginx -s reload
2020/04/22 16:39:45.320925 [INFO] (runner) initiating run
2020/04/22 16:39:45.323247 [INFO] (runner) rendered "/root/consul/nginx.ctmpl" => "/usr/local/nginx/conf/vhost/kgc.conf"
2020/04/22 16:39:45.323273 [INFO] (runner) executing command "/usr/local/nginx/sbin/nginx -s reload" from "/root/consul/nginx.ctmpl" => "/usr/local/nginx/conf/vhost/kgc.conf"
2020/04/22 16:39:45.323533 [INFO] (child) spawning: /usr/local/nginx/sbin/nginx -s reload

查看/usr/local/nginx/conf/vhost/kgc.conf文件
upstream http_backend {
  
  server 192.168.179.166:83;
  
  server 192.168.179.166:84;
  
  server 192.168.179.166:88;        新增加的容器
  
}

server {
  listen 1216;
  server_name localhost 192.168.179.165;
  access_log /var/log/nginx/kgc.cn-access.log;
  index index.html index.php;
  location / {
    proxy_set_header HOST $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header Client-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_pass http://http_backend;
	}
}

查看新增加的容器访问日志