RabbitMQ 高可用集群

RabbitMQ 高可用集群搭建 RabbitMQ 高可用集群搭建 1 集群简介 1.1 集群架构 ​ 当单台 RabbitMQ 服务器的处理消息的能力达到瓶颈时,此时可以通过 RabbitMQ 集群来进行扩展,从而达到提升吞吐量的目的。RabbitMQ 集群是一个或多个节点的逻辑分组,集群中的每个节点都是对等的,每个节点共享所有的用户,虚拟主机,队列,交换器,绑定关系,运行时参数和其他分布式状态等信息。一个高可用,负载均衡的 RabbitMQ 集群架构应类似下图: 这里对上面的集群架构做一下解释说明: ​ 首先一个基本的 Rabbi 阅读详情

RabbitMQ 高可用集群

96 
韩学鹏 
2017.11.12 20:07*  字数 5043  阅读 662 评论 1

整体架构

RabbitMQ Cluster 架构图

部署步骤

基于 Docker

  1. 基本概念

    • 内存节点

      只保存状态到内存,例外情况是:持久的 queue 的内容将被保存到磁盘。
      
    • 磁盘节点

      保存状态到内存和磁盘。
      
    • 内存节点由于不进行磁盘读写,它的性能比磁盘节点高。

    • 集群中可以存在多个磁盘节点,磁盘节点越多整个集群可用性越好,但是集群整体性能不会线性增加,需要权衡考虑。

    • 如果集群中只有内存节点,那么不能停止它们,否则所有状态和消息都会丢失。

  2. 安装 RabbitMQ

    • 准备四台主机,我是用 Docker 来创建的,命令如下:

      ➜  ~ docker run -i -d --name rabbitmq1 --hostname rabbitmq1 registry.docker-cn.com/library/erlang:latest
      0823993f94d732b9e501ff62920ed0149cb33bcea1992e73f054b79fad5747c0
      ➜  ~ docker run -i -d --name rabbitmq2 --hostname rabbitmq2 registry.docker-cn.com/library/erlang:latest
      961e45d0a3219e43887866eea39b3d68aeb6ea81c78cf5bf6006be5483930e68
      ➜  ~ docker run -i -d --name rabbitmq3 --hostname rabbitmq3 registry.docker-cn.com/library/erlang:latest
      ef08f580066489465f5fd6201455a4680954cfa3e0591e36346a6e610c7cd82c
      ➜  ~ docker run -i -d --name haproxy --hostname haproxy -p 8100:8100 -p 8101:8101 -p 8102:8102 registry.docker-cn.com/library/ubuntu:14.04
      f05a01380908ca639004e11bef0ce3bb38c0a6485d2ffb16f30ad62dedca9647
      ➜  ~ docker ps
      CONTAINER ID        IMAGE                                          COMMAND             CREATED              STATUS              PORTS                              NAMES
      f05a01380908        registry.docker-cn.com/library/ubuntu:14.04    "/bin/bash"         About a minute ago   Up About a minute   0.0.0.0:8100-8102->8100-8102/tcp   haproxy
      ef08f5800664        registry.docker-cn.com/library/erlang:latest   "erl"               2 minutes ago        Up 2 minutes                                           rabbitmq3
      961e45d0a321        registry.docker-cn.com/library/erlang:latest   "erl"               2 minutes ago        Up 2 minutes                                           rabbitmq2
      0823993f94d7        registry.docker-cn.com/library/erlang:latest   "erl"               3 minutes ago        Up 2 minutes                                           rabbitmq1
      ➜  ~ docker inspect --format='{{.NetworkSettings.IPAddress}}' rabbitmq1
      172.17.0.2
      ➜  ~ docker inspect --format='{{.NetworkSettings.IPAddress}}' rabbitmq2
      172.17.0.3
      ➜  ~ docker inspect --format='{{.NetworkSettings.IPAddress}}' rabbitmq3
      172.17.0.4
      ➜  ~ docker inspect --format='{{.NetworkSettings.IPAddress}}' haproxy
      172.17.0.5
      

      haproxy 主机开了三个端口,后面讲到 HAProxy 负载均衡时再解释这三个端口的作用。

    • 安装 RabbitMQ

      • 选择一个合适的版本下载 ,下载地址:Downloading and Installing RabbitMQ

      • 下面是每一步的命令:

        root@rabbitmq1:~# wget https://dl.bintray.com/rabbitmq/binaries/rabbitmq-server-generic-unix-3.6.14.tar.xz
        root@rabbitmq1:~# xz -d rabbitmq-server-generic-unix-3.6.14.tar.xz
        root@rabbitmq1:~# tar -xvf rabbitmq-server-generic-unix-3.6.14.tar
        root@rabbitmq1:~# cd rabbitmq_server-3.6.14/
        root@rabbitmq1:~/rabbitmq_server-3.6.14# ls -l
        total 248
        -rw-r--r-- 1 1023 1023    93 Nov  7 07:46 INSTALL
        -rw-r--r-- 1 1023 1023 28247 Nov  7 07:46 LICENSE
        -rw-r--r-- 1 1023 1023 11425 Nov  7 07:46 LICENSE-APACHE2
        -rw-r--r-- 1 1023 1023 11358 Nov  7 07:46 LICENSE-APACHE2-ExplorerCanvas
        -rw-r--r-- 1 1023 1023 11358 Nov  7 07:46 LICENSE-APACHE2-excanvas
        -rw-r--r-- 1 1023 1023 10175 Nov  7 07:46 LICENSE-APL2-Rebar
        -rw-r--r-- 1 1023 1023 10851 Nov  7 07:46 LICENSE-APL2-Stomp-Websocket
        -rw-r--r-- 1 1023 1023  1206 Nov  7 07:46 LICENSE-BSD-base64js
        -rw-r--r-- 1 1023 1023  1304 Nov  7 07:46 LICENSE-BSD-glMatrix
        -rw-r--r-- 1 1023 1023  1469 Nov  7 07:46 LICENSE-BSD-recon
        -rw-r--r-- 1 1023 1023 14041 Nov  7 07:46 LICENSE-EPL-OTP
        -rw-r--r-- 1 1023 1023   757 Nov  7 07:46 LICENSE-ISC-cowboy
        -rw-r--r-- 1 1023 1023  1084 Nov  7 07:46 LICENSE-MIT-EJS
        -rw-r--r-- 1 1023 1023  1087 Nov  7 07:46 LICENSE-MIT-EJS10
        -rw-r--r-- 1 1023 1023  1057 Nov  7 07:46 LICENSE-MIT-Erlware-Commons
        -rw-r--r-- 1 1023 1023  1069 Nov  7 07:46 LICENSE-MIT-Flot
        -rw-r--r-- 1 1023 1023  1087 Nov  7 07:46 LICENSE-MIT-Mochi
        -rw-r--r-- 1 1023 1023  1087 Nov  7 07:46 LICENSE-MIT-Mochiweb
        -rw-r--r-- 1 1023 1023  1073 Nov  7 07:46 LICENSE-MIT-Sammy
        -rw-r--r-- 1 1023 1023  1076 Nov  7 07:46 LICENSE-MIT-Sammy060
        -rw-r--r-- 1 1023 1023  1056 Nov  7 07:46 LICENSE-MIT-SockJS
        -rw-r--r-- 1 1023 1023  1074 Nov  7 07:46 LICENSE-MIT-jQuery
        -rw-r--r-- 1 1023 1023  1075 Nov  7 07:46 LICENSE-MIT-jQuery164
        -rw-r--r-- 1 1023 1023 24897 Nov  7 07:46 LICENSE-MPL-RabbitMQ
        -rw-r--r-- 1 1023 1023 16726 Nov  7 07:46 LICENSE-MPL2
        drwxr-xr-x 2 1023 1023 12288 Nov  7 07:46 ebin
        drwxr-xr-x 3 1023 1023  4096 Nov  7 07:46 etc
        drwxr-xr-x 2 1023 1023  4096 Nov  7 07:46 include
        drwxr-xr-x 2 1023 1023  4096 Nov  7 07:46 plugins
        drwxr-xr-x 2 1023 1023  4096 Nov  7 07:46 sbin
        drwxr-xr-x 3 1023 1023  4096 Nov  7 07:46 share
        

        在 rabbitmq2 和 rabbitmq3 同样执行上面的步骤即可。

      • 运行 Rabbitmq

        root@rabbitmq1:~/rabbitmq_server-3.6.14# cd sbin/
        root@rabbitmq1:~/rabbitmq_server-3.6.14/sbin# ls -l
        total 36
        -rwxr-xr-x 1 1023 1023  1885 Nov  7 07:46 rabbitmq-defaults
        -rwxr-xr-x 1 1023 1023 12095 Nov  7 07:46 rabbitmq-env
        -rwxr-xr-x 1 1023 1023  1362 Nov  7 07:46 rabbitmq-plugins
        -rwxr-xr-x 1 1023 1023 10971 Nov  7 07:46 rabbitmq-server
        -rwxr-xr-x 1 1023 1023  1480 Nov  7 07:46 rabbitmqctl
        root@rabbitmq1:~/rabbitmq_server-3.6.14/sbin# ./rabbitmq-server
        
                      RabbitMQ 3.6.14. Copyright (C) 2007-2017 Pivotal Software, Inc.
          ##  ##      Licensed under the MPL.  See http://www.rabbitmq.com/
          ##  ##
          ##########  Logs: /root/rabbitmq_server-3.6.14/var/log/rabbitmq/rabbit@rabbitmq1.log
          ######  ##        /root/rabbitmq_server-3.6.14/var/log/rabbitmq/rabbit@rabbitmq1-sasl.log
          ##########
                      Starting broker...
         completed with 0 plugins.
        

        现在 RabbitMQ 就已经启动起来了,但是有一个问题,RabbitMQ 一直占据着终端,我们得让它在后台运行。Ctrl+C 终止进程,然后执行命令

        root@rabbitmq1:~/rabbitmq_server-3.6.14/sbin# ./rabbitmq-server -detached
        Warning: PID file not written; -detached was passed.
        

        可以使用命令查看运行状态:

        root@rabbitmq1:~/rabbitmq_server-3.6.14/sbin# ./rabbitmqctl status
        

        下面开始将这三个独立的 RabbitMQ 组建成一个集群。

  3. Rabbit 集群

    • 集群模式

      集群中的节点有两种,一种是内存节点,一种是磁盘节点;内存节点由于没有磁盘读写,性能比磁盘节点要好,磁盘节点可以将状态持久化到磁盘,可用性比内存节点要好,需要权衡考虑。
      本文的模式是一台磁盘节点,作为数据备份,两台内存节点,用于提高性能。
      
    • 配置 hosts

      在安装好 RabbitMQ 的三台机器上分别修改 /etc/hosts 文件。

      rabbit@rabbitmq1 上:

      root@rabbitmq1:~# cat /etc/hosts
      127.0.0.1   localhost
      ::1 localhost ip6-localhost ip6-loopback
      fe00::0 ip6-localnet
      ff00::0 ip6-mcastprefix
      ff02::1 ip6-allnodes
      ff02::2 ip6-allrouters
      172.17.0.2  rabbitmq1
      172.17.0.3      rabbitmq2
      172.17.0.4      rabbitmq3
      

      rabbit@rabbitmq2 上:

      root@rabbitmq2:~# cat /etc/hosts
      127.0.0.1   localhost
      ::1 localhost ip6-localhost ip6-loopback
      fe00::0 ip6-localnet
      ff00::0 ip6-mcastprefix
      ff02::1 ip6-allnodes
      ff02::2 ip6-allrouters
      172.17.0.2      rabbitmq1
      172.17.0.3  rabbitmq2
      172.17.0.4      rabbitmq3
      

      rabbit@rabbitmq3 上:

      root@rabbitmq2:~# cat /etc/hosts
      127.0.0.1   localhost
      ::1 localhost ip6-localhost ip6-loopback
      fe00::0 ip6-localnet
      ff00::0 ip6-mcastprefix
      ff02::1 ip6-allnodes
      ff02::2 ip6-allrouters
      172.17.0.2      rabbitmq1
      172.17.0.3  rabbitmq2
      172.17.0.4      rabbitmq3
      
    • 配置 Cookie

      Erlang 节点间通过认证 Erlang cookie 的方式允许互相通信。因为 rabbitmqctl 使用 Erlang OTP 通信机制来和 Rabbit 节点通信,运行 rabbitmqctl 的机器和所要连接的 Rabbit 节点必须使用相同的 Erlang cookie 。否则你会得到一个错误。
      

      为了保证这三台机器的 Erlang cookie 相同,我们将 rabbitmq1 上面的 Erlang cookie 文件复制到另外两台机器上面。在我的机器上面, Erlang cookie 文件的路径是/root/.erlang.cookie,下面是将这个 cookie 文件复制到另外两台机器上的步骤:(在 Docker 宿主机上执行)

      ➜  ~ docker cp rabbitmq1:/root/.erlang.cookie .
      ➜  ~ docker cp .erlang.cookie rabbitmq2:/root
      ➜  ~ docker cp .erlang.cookie rabbitmq3:/root
      

      步骤解释:现将 rabbitmq1 上的 .erlang.cookie 复制到宿主机的当前目录,然后在分别复制到 rabbitmq2 和 rabbitmq3 上的 root 目录下。

      OK,现在三台机器上具有相同的 Erlang cookie 了。下面开始组建集群。

    • 组建集群

      • 查看集群状态

        root@rabbitmq1:~/rabbitmq_server-3.6.14/sbin# ./rabbitmqctl cluster_status
        Cluster status of node rabbit@rabbitmq1
        [{nodes,[{disc,[rabbit@rabbitmq1]}]},
         {running_nodes,[rabbit@rabbitmq1]},
         {cluster_name,<<"rabbit@rabbitmq1">>},
         {partitions,[]},
         {alarms,[{rabbit@rabbitmq1,[]}]}]
        

        可以看到 {cluster_name,<<"rabbit@rabbitmq1">>},这是集群名字,其他节点可以join 到这个集群中。

        其实,所有节点都是平等的,你可以加入到任意一个集群中,最终这些节点都会在同一个集群中。

      • 将 RabbitMQ 停止运行

        rabbitmq2:

        root@rabbitmq2:~/rabbitmq_server-3.6.14/sbin# ./rabbitmqctl stop_app
        Stopping rabbit application on node rabbit@rabbitmq2
        

        rabbitmq3:

        root@rabbitmq3:~/rabbitmq_server-3.6.14/sbin# ./rabbitmqctl stop_app
        Stopping rabbit application on node rabbit@rabbitmq3
        
      • 执行加入集群命令

        rabbitmq2:

        root@rabbitmq2:~/rabbitmq_server-3.6.14/sbin# ./rabbitmqctl join_cluster rabbit@rabbitmq1
        Clustering node rabbit@rabbitmq2 with rabbit@rabbitmq1
        root@rabbitmq2:~/rabbitmq_server-3.6.14/sbin# ./rabbitmqctl start_app
        Starting node rabbit@rabbitmq2
        

        rabbitmq3:

        root@rabbitmq3:~/rabbitmq_server-3.6.14/sbin# ./rabbitmqctl join_cluster rabbit@rabbitmq1
        Clustering node rabbit@rabbitmq3 with rabbit@rabbitmq1
        root@rabbitmq3:~/rabbitmq_server-3.6.14/sbin# ./rabbitmqctl start_app
        Starting node rabbit@rabbitmq3
        

        在任意节点查看集群状态:

        root@rabbitmq1:~/rabbitmq_server-3.6.14/sbin# ./rabbitmqctl cluster_status
        Cluster status of node rabbit@rabbitmq1
        [{nodes,[{disc,[rabbit@rabbitmq1,rabbit@rabbitmq2,rabbit@rabbitmq3]}]},
         {running_nodes,[rabbit@rabbitmq3,rabbit@rabbitmq2,rabbit@rabbitmq1]},
         {cluster_name,<<"rabbit@rabbitmq1">>},
         {partitions,[]},
         {alarms,[{rabbit@rabbitmq3,[]},{rabbit@rabbitmq2,[]},{rabbit@rabbitmq1,[]}]}]
        

        可以看到三个节点已经构建成了一个集群,但是有一个小问题,{disc,[rabbit@rabbitmq1,rabbit@rabbitmq2,rabbit@rabbitmq3]},所有的节点都是磁盘节点,和刚开始构想的不太一样,我们只需要一个磁盘节点,另外两个都是内存节点,这样我们在保证可用性的同时,还能提高集群的整体性能。

        所以,我们需要将两台磁盘节点改成内存节点。

      • 将磁盘节点修改为内存节点

        • 将节点从集群中移除

        rabbitmq2:

        root@rabbitmq2:~/rabbitmq_server-3.6.14/sbin# ./rabbitmqctl stop_app
        Stopping rabbit application on node rabbit@rabbitmq2
        root@rabbitmq2:~/rabbitmq_server-3.6.14/sbin# ./rabbitmqctl reset
        Resetting node rabbit@rabbitmq2
        

        rabbitmq3:

        root@rabbitmq3:~/rabbitmq_server-3.6.14/sbin# ./rabbitmqctl stop_app
        Stopping rabbit application on node rabbit@rabbitmq3
        root@rabbitmq3:~/rabbitmq_server-3.6.14/sbin# ./rabbitmqctl reset
        Resetting node rabbit@rabbitmq3
        

        这里关键的命令是 ./rabbitmqctl reset。reset 命令在节点为单机状态和是集群的一部分时行为有点不太一样。

        节点单机状态时,reset 命令将清空节点的状态,并将其恢复到空白状态。当节点是集群的一部分时,该命令也会和集群中的磁盘节点通信,告诉他们该节点正在离开集群。

        这很重要,不然,集群会认为该节点出了故障,并期望其最终能够恢复回来,在该节点回来之前,集群禁止新的节点加入。

        • 将节点重新加入集群

          rabbitmq2:

          root@rabbitmq2:~/rabbitmq_server-3.6.14/sbin# ./rabbitmqctl join_cluster --ram rabbit@rabbitmq1
          Clustering node rabbit@rabbitmq2 with rabbit@rabbitmq1
          root@rabbitmq2:~/rabbitmq_server-3.6.14/sbin# ./rabbitmqctl start_app
          Starting node rabbit@rabbitmq2
          

          rabbitmq3:

          root@rabbitmq3:~/rabbitmq_server-3.6.14/sbin# ./rabbitmqctl join_cluster --ram rabbit@rabbitmq1
          Clustering node rabbit@rabbitmq3 with rabbit@rabbitmq1
          root@rabbitmq3:~/rabbitmq_server-3.6.14/sbin# ./rabbitmqctl start_app
          Starting node rabbit@rabbitmq3
          

          然后查看集群状态:

          root@rabbitmq1:~/rabbitmq_server-3.6.14/sbin# ./rabbitmqctl cluster_status
          Cluster status of node rabbit@rabbitmq1
          [{nodes,[{disc,[rabbit@rabbitmq1]},{ram,[rabbit@rabbitmq3,rabbit@rabbitmq2]}]},
           {running_nodes,[rabbit@rabbitmq3,rabbit@rabbitmq2,rabbit@rabbitmq1]},
           {cluster_name,<<"rabbit@rabbitmq1">>},
           {partitions,[]},
           {alarms,[{rabbit@rabbitmq3,[]},{rabbit@rabbitmq2,[]},{rabbit@rabbitmq1,[]}]}]
          

          现在集群已经大体符合开始时我们的构想了,一个磁盘节点,两个内存节点。但是,我们的集群还是有点小问题,我们这个集群更适合非持久化队列,只有该队列是非持久的,客户端磁能重新连接到集群里的其他节点,并创建队列。加入该队列是持久化的,那么我们将集群恢复的唯一办法是将故障节点恢复起来。所以,我们需要对我们的集群进行改造,稍后我们会看到 Rabbit 团队给我们带来的内建的双活冗余选项:镜像队列。

  4. 使用 HAProxy 做负载均衡

    • 下载 HAProxy 源码

      Git 仓库地址:Git: haproxy

      下载源码:

      root@haproxy:~# git clone https://github.com/haproxy/haproxy.git
      
    • 编译&安装

      更详细的编译参数请参考文档,本文通用的编译参数。

      编译 & 安装:

      root@haproxy:~/haproxy# make TARGET=generic
      root@haproxy:~/haproxy# make install
      

      现在你可以运行 haproxy --help 来看看它的配置选项。现在需要对 HAProxy 进行配置,这样它就可以 RabbitMQ 做负载均衡了。

    • 配置 HAProxy

      HAProxy 使用单一配置文件来定义所有属性,包括从前端 IP 到后端服务器。下列清单展示了用于本地 Rabbit 集群负载均衡的配置。

      配置文件参数解释:

      ###########全局配置#########
      global
        log 127.0.0.1 local0 #[日志输出配置,所有日志都记录在本机,通过local0输出]
        log 127.0.0.1 local1 notice #定义haproxy 日志级别[error warringinfo debug]
        daemon #以后台形式运行harpoxy
        nbproc 1 #设置进程数量
        maxconn 4096 #默认最大连接数,需考虑ulimit-n限制
        #user haproxy #运行haproxy的用户
        #group haproxy #运行haproxy的用户所在的组
        #pidfile /var/run/haproxy.pid #haproxy 进程PID文件
        #ulimit-n 819200 #ulimit 的数量限制
        #chroot /usr/share/haproxy #chroot运行路径
        #debug #haproxy 调试级别,建议只在开启单进程的时候调试
        #quiet
      
      ########默认配置############
      defaults
        log global
        mode http #默认的模式mode { tcp|http|health },tcp是4层,http是7层,health只会返回OK
        option httplog #日志类别,采用httplog
        option dontlognull #不记录健康检查日志信息
        retries 2 #两次连接失败就认为是服务器不可用,也可以通过后面设置
        #option forwardfor #如果后端服务器需要获得客户端真实ip需要配置的参数,可以从Http Header中获得客户端ip
        option httpclose #每次请求完毕后主动关闭http通道,haproxy不支持keep-alive,只能模拟这种模式的实现
        #option redispatch #当serverId对应的服务器挂掉后,强制定向到其他健康的服务器,以后将不支持
        option abortonclose #当服务器负载很高的时候,自动结束掉当前队列处理比较久的链接
        maxconn 4096 #默认的最大连接数
        timeout connect 5000ms #连接超时
        timeout client 30000ms #客户端超时
        timeout server 30000ms #服务器超时
        #timeout check 2000 #心跳检测超时
        #timeout http-keep-alive10s #默认持久连接超时时间
        #timeout http-request 10s #默认http请求超时时间
        #timeout queue 1m #默认队列超时时间
        balance roundrobin #设置默认负载均衡方式,轮询方式
        #balance source #设置默认负载均衡方式,类似于nginx的ip_hash
        #balnace leastconn #设置默认负载均衡方式,最小连接数
      
      ########统计页面配置########
      listen stats
        bind 0.0.0.0:1080 #设置Frontend和Backend的组合体,监控组的名称,按需要自定义名称
        mode http #http的7层模式
        option httplog #采用http日志格式
        #log 127.0.0.1 local0 err #错误日志记录
        maxconn 10 #默认的最大连接数
        stats refresh 30s #统计页面自动刷新时间
        stats uri /stats #统计页面url
        stats realm XingCloud\ Haproxy #统计页面密码框上提示文本
        stats auth admin:admin #设置监控页面的用户和密码:admin,可以设置多个用户名
        stats auth Frank:Frank #设置监控页面的用户和密码:Frank
        stats hide-version #隐藏统计页面上HAProxy的版本信息
        stats admin if TRUE #设置手工启动/禁用,后端服务器(haproxy-1.4.9以后版本)
      
      ########设置haproxy 错误页面#####
      #errorfile 403 /home/haproxy/haproxy/errorfiles/403.http
      #errorfile 500 /home/haproxy/haproxy/errorfiles/500.http
      #errorfile 502 /home/haproxy/haproxy/errorfiles/502.http
      #errorfile 503 /home/haproxy/haproxy/errorfiles/503.http
      #errorfile 504 /home/haproxy/haproxy/errorfiles/504.http
      
      ########frontend前端配置##############
      frontend main
        bind *:80 #这里建议使用bind *:80的方式,要不然做集群高可用的时候有问题,vip切换到其他机器就不能访问了。
        acl web hdr(host) -i www.abc.com  #acl后面是规则名称,-i为忽略大小写,后面跟的是要访问的域名,如果访问www.abc.com这个域名,就触发web规则,。
        acl img hdr(host) -i img.abc.com  #如果访问img.abc.com这个域名,就触发img规则。
        use_backend webserver if web   #如果上面定义的web规则被触发,即访问www.abc.com,就将请求分发到webserver这个作用域。
        use_backend imgserver if img   #如果上面定义的img规则被触发,即访问img.abc.com,就将请求分发到imgserver这个作用域。
        default_backend dynamic #不满足则响应backend的默认页面
      
      ########backend后端配置##############
      backend webserver #webserver作用域
        mode http
        balance roundrobin #balance roundrobin 负载轮询,balance source 保存session值,支持static-rr,leastconn,first,uri等参数
        option httpchk /index.html HTTP/1.0 #健康检查, 检测文件,如果分发到后台index.html访问不到就不再分发给它
        server web1 10.16.0.9:8085 cookie 1 weight 5 check inter 2000 rise 2 fall 3
        server web2 10.16.0.10:8085 cookie 2 weight 3 check inter 2000 rise 2 fall 3
        #cookie 1表示serverid为1,check inter 1500 是检测心跳频率 
        #rise 2是2次正确认为服务器可用,fall 3是3次失败认为服务器不可用,weight代表权重
      
      backend imgserver
        mode http
        option httpchk /index.php
        balance roundrobin 
        server img01 192.168.137.101:80 check inter 2000 fall 3
        server img02 192.168.137.102:80 check inter 2000 fall 3
      
      backend dynamic 
        balance roundrobin 
        server test1 192.168.1.23:80 check maxconn 2000 
        server test2 192.168.1.24:80 check maxconn 2000
      
      
      listen tcptest 
        bind 0.0.0.0:5222 
        mode tcp 
        option tcplog #采用tcp日志格式 
        balance source 
        #log 127.0.0.1 local0 debug 
        server s1 192.168.100.204:7222 weight 1 
        server s2 192.168.100.208:7222 weight 1
      

      我们的配置文件(/root/haproxy/haproxy.cnf)内容如下:

      root@haproxy:~/haproxy# cat haproxy.cnf
      global
          log     127.0.0.1  local0 info
          log     127.0.0.1  local1 notice
          daemon
          maxconn 4096
      
      defaults
          log     global
          mode    tcp
          option  tcplog
          option  dontlognull
          retries 3
          option  abortonclose
          maxconn 4096
          timeout connect  5000ms
          timeout client  3000ms
          timeout server  3000ms
          balance roundrobin
      
      listen private_monitoring
          bind    0.0.0.0:8100
          mode    http
          option  httplog
          stats   refresh  5s
          stats   uri  /stats
          stats   realm   Haproxy
          stats   auth  admin:admin
      
      listen rabbitmq_admin
          bind    0.0.0.0:8102
          server  rabbitmq1 172.17.0.2:15672
          server      rabbitmq2 172.17.0.3:15672
          server      rabbitmq3 172.17.0.4:15672
      
      listen rabbitmq_cluster
          bind    0.0.0.0:8101
          mode    tcp
          option  tcplog
          balance roundrobin
          server  rabbitmq1  172.17.0.2:5672  check  inter  5000  rise  2  fall  3
          server  rabbitmq2  172.17.0.3:5672  check  inter  5000  rise  2  fall  3
          server  rabbitmq3  172.17.0.4:5672  check  inter  5000  rise  2  fall  3
      
    • 运行 HAProxy

      让我们用新的配置启动 HAProxy 并确保它能工作:

      root@haproxy:~/haproxy# haproxy -f haproxy.cnf
      

      如果一切正常的话,你现在可以顺利的加载 http://localhost:8100/stats 页面,如果配置文件中配置了 auth 的话,你需要进行登录:

      WX20171110-154612@2x.png

      这有个小缺陷,虽然我们在配置文件中做了 management 的反向代理,但是我们仍然不能访问 http://localhost:8102/。这是因为我们没有开启 rabbit management 插件,下面我们来开启这个插件。

  5. 开启 Rabbit Management 插件,从 WEB 端管理 RabbitMQ

    插件是一种扩展作者未能预见到的服务器的行为方式。RabbitMQ 插件是由 Erlang 语言编写的,并且和服务器一同运行在同一个 Erlang VM 中。我们先开启 Management 插件。执行如下命令:

    root@rabbitmq1:~/rabbitmq_server-3.6.14/sbin# ./rabbitmq-plugins enable rabbitmq_management
    The following plugins have been enabled:
      amqp_client
      cowlib
      cowboy
      rabbitmq_web_dispatch
      rabbitmq_management_agent
      rabbitmq_management
    
    Applying plugin configuration to rabbit@rabbitmq1... started 6 plugins.
    root@rabbitmq1:~/rabbitmq_server-3.6.14/sbin# ./rabbitmqctl stop
    Stopping and halting node rabbit@rabbitmq1
    root@rabbitmq1:~/rabbitmq_server-3.6.14/sbin# ./rabbitmq-server -detached
    Warning: PID file not written; -detached was passed.
    

    然后重新访问 http://localhost:8102/,页面提示我们需要登录,RabbitMQ 有一个默认的账号 guest,密码是 guest。我们用这个账号登陆会发现,我们被拒绝了,页面提示 User can only log in via localhost,这是因为rabbitmq从3.3.0开始禁止使用guest/guest权限通过除localhost外的访问。如果想使用 guest 通过远程机器访问,需要在 RabbitMQ 配置文件中设置 loopback_users 为 [],我们的配置文件内容如下:

    /root/rabbitmq_server-3.6.14/etc/rabbitmq/rabbitmq.config :

    root@rabbitmq1:~/rabbitmq_server-3.6.14/etc/rabbitmq# cat rabbitmq.config
    r
    

    刷新页面,然后重新登陆,现在我们能看到如下的界面:


    WechatIMG84.jpeg

    下面黄色部分是因为另外两个节点还未开启 Management 插件,开启即可。

  1. 使用 RabbitMQ 镜像功能(待补充)
  1. 升级集群节点

    1. 关闭生产者
    2. 备份当前配置
    3. 排空队列 - 观察队列状态,直到所有队列都为空
    4. 关闭节点
    5. 解压新版本 RabbitMQ 到现有的安装目录
    6. 启动磁盘节点
    7. 启动内存节点

小礼物走一走,来简书关注我

【RabbitMQ】之高可用集群搭建 1、默认集群原理单台 RabbitMQ 服务器处理消息的能力是有瓶颈的,而且可靠性还无法保证,所以需要通过集群来提高消息的吞吐量和提高数据可靠性。由于 RabbitMQ 本身是基于Erlang编写,而Erlang 语言天生具备分布式特性通过同步 Erlang 集群各节点的 erlang.cookie 来实现因此,RabbitMQ 天然支持集群,并且还能通过水平扩展节点的方式提高吞吐量。在一个多节点的 RabbitMQ 集群中,Exchange交换器)的元数据(Metadata。 阅读详情

相关推荐

【RabbitMQ高可用集群架构】

其实对于RabbitMQ,一个节点的服务也是作为一个集群来处理的,在web控制台的admin-> cluster 中可。通常在生产环境中,为了减少RabbitMQ集群之间的数据传输,在配置镜像策略时,会针对固定的虚拟主机。之前通过单机环境搭建起来的RabbitMQ服务有一个致命的问题,那就是服务不稳定的问题。这种集群模式下,集群的各个节点之间只会有相同。的节点, RabbitMQ会临时在节点之间进行数据传输,将消息从存有数据的节点传输到消费的节点。中,系统的资源都是会做预留的,所以正常的使用是没有问题的。

qq_43049895的博客 1364

Docker启动rabbitmq最详细步骤

超级详细的docker启动rabbitmq镜像的步骤。看这一篇就足够了

weixin_57004864的博客 8664

RabbitMQ 集群高可用原理及实战部署介绍

每天早上七点三十,准时推送干货在项目中想要 RabbitMQ 变得更加健壮,就要使得其变成高可用,今天我们一起来聊聊关于 RabbitMQ 集群原理和部署流程一、介绍在前几篇文章中,我们...

Java极客技术 2209

Docker启动rabbitmq

Docker启动rabbitmq

星哲最开心 2710

RabbitMQ高可用集群部署

在上一步中,RabbitMQ集群已经搭建完成了,但是并不能保证消息队列的高可用,尽管交换机和队列都可以绑定和复制到任何一个节点中,在每个节点都会显示,但是数据时不会复制的,当我们在rabbitmq-1节点上创建的队列,产生的消息数据,在第二个节点上只能看到这个队列的状态,当第一个节点挂了之后,数据就无法读取了,仅显示有这个队列存在并且状态是down。可以看到所有队列中的节点列表,都已经变成了rabbitmq-2,并且没有了+1的展示,这是因为第一个节点挂了,现在一个。在哪一个节点上添加都可以,都会复制。

江晓龙的博客 1万+

一条龙开发指南:MCP AI Agent 理论+项目实战开发你的MCP Server

MCP(Model Connection Protocol)是Anthropic于2024年推出的AI模型连接协议,旨在为AI模型提供开放、通用的标准化接口,类似于“USB-C”接口,使AI模型能够无缝连接各种数据源和工具。MCP通过标准化协议解决了AI系统集成中的碎片化问题,提升了开发效率和系统可靠性。开发者可以通过简单的配置,快速接入不同的MCP Server,实现AI模型的多样化应用。MCP支持多种协议,如Stdio、SSE等,并通过JSON-RPC格式进行数据传输。文章还以腾讯云代码助手为例,展示了

杨不易呀 3052

Docker中安装运行rabbitMQ

登录名和密码都是guest。

qq_64529371的博客 2685

CTFHUB------XSS反射型(WP)

文章目录前言XSS测试平台 前言 一开始我直接在上面写js脚本发现出错,最后发现只能通过下面的输入框来执行XSS测试,于是我们只能用XSS测试平台解决问题 XSS测试平台 注册一个XSS测试平台 这里随便填写 勾选默认模块就够了,点击下一步 这时会出现一个找个将代码复制 拼接到网站后缀name后面,点击send 这时平台会收到一个记录点开即可 得到flag ...

Y4tacker的博客 1万+

Docker快速部署RabbitMq教程,这一篇就够了!

要快速部署RabbitMQ,可以使用Docker容器来简化过程。下面是使用Docker快速部署RabbitMQ的教程。

胜人者有力,自胜者强! 1万+

保姆级教程:手把手教你用Jacquard V2数据集训练机器人抓取模型(附完整代码)

本文提供了一份详细的保姆级教程,手把手教你使用Jacquard V2数据集训练机器人抓取模型。从环境配置、数据准备到模型架构设计、训练优化和实际部署,全程解析并附完整代码,帮助开发者快速掌握视觉抓取技术。

weixin_29031057的博客 315

告别代码恐惧!用KRobot图形化编程,10分钟搞定Arduino巡线小车(附完整接线图)

本文介绍如何使用KRobot图形化编程工具快速搭建Arduino巡线小车,无需编写代码。从硬件准备到逻辑构建,详细讲解传感器数据处理、电机控制优化及高级功能扩展,帮助教育工作者和创客爱好者10分钟内完成项目。

weixin_30632089的博客 398

docker 安装 Rabbitmq 详解

在平常的开发工作中,我们经常会使用到 rabbitmq,rabbitmq 主要可以进行应用解耦、异步通信、流量削峰、负载均衡、消息持久化、死信队列等。比如商城系统,下单后,通过消息队列通知库存系统、积分系统、物流系统等。发送短信时通过消息队列异步通知,导入处理大文件时通过消息队列异步处理等。那么 docker 下如何安装 rabbitmq 呢?今天简单来总结下主要步骤。

qq_36833673的博客 3263

【Dify】PPT生成工具应用

本文介绍了一款自动化PPT生成工具,通过智能接口将文本内容高效转化为结构化演示文档。该系统采用三阶段工作流(内容输入、HTTP请求上传、文件输出),无需复杂操作即可生成专业PPT。工具适用于教学课件、产品发布、企业培训等场景,能显著提升内容表达效率,特别适合初学者快速制作演示材料。文章详细说明了核心节点、应用场景及开发资源,为文本到PPT的自动化转换提供了实用解决方案。

Mr数据杨 1223

RabbitMQ高可用集群搭建

介绍了如何使用rabbitmqctl手动形成RabbitMQ高可用集群

Sean_Hlaw的博客 3479

Python 爬虫实战:从零搭建第一个爬虫程序(附完整代码)

本文介绍了Python网络爬虫的入门实战,以豆瓣Top250电影榜单为例,详细讲解爬虫开发全流程。内容包括爬虫基础原理、环境搭建、请求发送与响应处理、数据解析与保存等核心环节,并提供了可直接运行的完整代码示例。文章还分析了常见问题解决方案,并强调了爬虫开发的合规注意事项。通过本教程,读者可快速掌握Python爬虫的基本思路和实操技巧,为后续深入学习BeautifulSoup、XPath等进阶技术打下基础。

2503_91057718的博客 2316

KoboldCpp vs Ollama vs llama.cpp 全面对比(2026工程视角)

本文对比分析了KoboldCpp、Ollama和llama.cpp三大本地AI推理工具的核心差异。llama.cpp作为基础引擎性能最强但上手困难;KoboldCpp在其基础上增加了UI界面,适合娱乐创作;Ollama则提供最简化的模型管理和API服务。性能实测显示:llama.cpp>KoboldCpp>Ollama。选型建议:新手用Ollama快速入门,玩家选KoboldCpp获得交互体验,工程师用llama.cpp追求极致性能。三者定位清晰:性能极限、使用体验和开发效率各有所长。

刘一说的IT专栏 917

rabbitmq高可用集群的搭建

一.功能和原理 1.设计集群的目的 (1)允许消费者和生产者在RabbitMQ节点崩溃的情况下继续运行; (2)通过增加更多的节点来扩展消息通信的吞吐量. 2.集群配置方式 Rabbitmq可以通过三种方法来部署分布式集群系统,分别是:cluster,federation,shovel a)cluster: 不支持跨网段,用于同一个网段内的局域网 可以随意的动态增加或者减少 节点...

ronaldo1994的博客 7029

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

rabbitmq高可用集群搭建

在进行RabbitMQ搭建时,我们基于现有的连接数据和业务需求进行了深入分析。目前的统计数据显示,连接数为631,队列数为80418。为了确保业务需求的顺利满足,我们需要在云产品和自建RabbitMQ消息队列服务之间做出选择。经过比较发现,即使选择腾讯云的最高规格配置,其Queue数也难以满足我们的需求,并且成本相对较高。因此,我们决定搭建自建服务。为此,我们计划使用三台配置为的服务器节点,构建一个高可靠性集群,以确保系统的稳定性和可靠性。

qq_40189664的博客 2194

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

『RabbitMQ』RabbitMQ高可用部署架构——镜像集群

📣读完这篇文章里你能收获到 - RabbitMQ多种模式的区别及概念,手把手带你搭建高可用集群,接入HaProxy做高可用负载均衡,针对生产突发的异常场景提进行测试验证

老陈聊架构 3744

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

(二)RabbitMQ实战——rabbitmq高可用集群搭建

本节内容是关于rabbitmq高可用集群的部署搭建,使用的是centos7系统,我们准备三台服务器作为rabbitmq的高可用服务器,rabbitmq集群本身不是天然支持高可用的,我们通过配置rabbitmq服务器的镜像队列,以确保消息可以在集群中的多个节点上进行复制存储,提高可用性和容错性,避免单节点故障。

厉害哥哥的博客 2531

RabbitMQ 集群与高可用性

RabbitMQ 是一个广泛使用的消息队列系统,具有强大的集群和高可用性特性。以下是有关 RabbitMQ 集群与高可用性方面的详细解析,涵盖了单节点与集群部署、镜像队列、以及分布式架构的部署策略和最佳实践。镜像队列是指将主节点的队列内容同步到集群中的其他节点上。当消费者从队列消费消息时,消息会从主节点发送,镜像节点会同步地更新其状态。如果主节点出现故障,RabbitMQ 会自动将其中一个镜像节点提升为新的主节点,从而继续处理队列中的消息。工作原理主队列(Master Queue)

StaticKing的博客 2527

rabbitmq高可用踩坑记:搭建rabbitmq集群

本节内容是关于rabbitmq高可用集群的部署搭建,使用的是ubuntu22系统,我们准备三台服务器作为rabbitmq的高可用服务器,rabbitmq集群本身不是天然支持高可用的,我们通过配置rabbitmq服务器的镜像队列,以确保消息可以在集群中的多个节点上进行复制存储,提高可用性和容错性,避免单节点故障。

Wangcr_xw的博客 1306
上一篇: 搭建 RabbitMQ Server 高可用集群
下一篇: Linux下使用NMON监控、分析系统性能
王树民
博客等级 码龄10年 912粉丝 560原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值