RabbitMQ: 高可用集群与跨集群通信架构深度解析

原创于 2025-12-19 09:15:00 发布 · 341 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#rabbitmq #架构 #分布式

RabbitMQ 专栏收录该内容

27 篇文章

订阅专栏

镜像队列：实现数据冗余的核心机制

问题背景：普通RabbitMQ集群仅解决横向扩展问题（如队列容量不足时新增节点），但单点故障可能导致数据丢失。解决方案：通过镜像队列（Mirrored Queues）将队列数据复制到多个节点，确保数据冗余。

1 ) 原理与配置：

基础架构：
- 多个节点组成集群，共享元数据（交换机、绑定关系）。
- 镜像队列额外复制消息数据到其他节点（如队列 queue1 在节点 mq01、mq02、mq03 上均有完整副本）。
策略配置命令：
```
rabbitmqctl set_policy ha-all ".*" '{"ha-mode":"all", "ha-sync-mode":"automatic"}' --priority 0 --vhost /
```
- 关键参数：
  - ha-mode：镜像模式（all/exactly/nodes）。
  - ha-params：模式参数（如 exactly 需指定副本数）。
  - ha-sync-mode：同步方式（automatic 或 manual）。
策略示例：
- 全节点镜像：ha-mode="all"（所有队列镜像到集群全部节点）。
- 指定副本数：ha-mode="exactly" + ha-params=2（队列镜像到任意2个节点）。
- 指定节点：ha-mode="nodes" + ha-params=["rabbit@nodeA", "rabbit@nodeB"]（镜像到特定节点）。

2 ) 效果验证：

管控台队列详情页显示 +2 标识，表示存在两个镜像节点（原节点 + 镜像节点）。
数据安全性提升：单节点宕机时，其他节点仍可提供完整队列数据。

高可用实现：客户端与服务端负载均衡

核心目标：解决客户端访问入口的单点故障问题。

1 ) 方案1：客户端负载均衡（适用NestJS）

配置方法：

// app.module.ts
import { ClientsModule, Transport } from '@nestjs/microservices';
 
@Module({
  imports: [
    ClientsModule.register([
      {
        name: 'RABBITMQ_SERVICE',
        transport: Transport.RMQ,
        options: {
          urls: [ // 配置集群所有节点地址
            'amqp://user:pass@mq01:5672',
            'amqp://user:pass@mq02:5672',
            'amqp://user:pass@mq03:5672',
          ],
          queue: 'task_queue',
        },
      },
    ]),
  ],
})
export class AppModule {}

优势：

客户端直连所有节点，任一节点宕机不影响整体服务。
无需额外中间件，适合云原生架构。

2 ) 方案2：服务端负载均衡（HAProxy）

适用场景：客户端无法支持多地址连接时（如遗留系统）

HAProxy核心配置：

/etc/haproxy/haproxy.cfg
global
  log /dev/log local0
  maxconn 4096
 
defaults 
  mode tcp
  timeout connect 5s
  timeout client 120s
  timeout server 120s
 
listen rabbitmq_cluster 
  bind *:5672
  balance roundrobin
  server mq01 mq01:5672 check inter 5000 rise 2 fall 3
  server mq02 mq02:5672 check inter 5000 rise 2 fall 3
  server mq03 mq03:5672 check inter 5000 rise 2 fall 3
 
listen stats # 监控页面
  bind *:8100
  mode http
  stats enable
  stats uri /rabbitmq
  stats refresh 5s

操作步骤：

安装与启动：

yum install haproxy
setsebool -P haproxy_connect_any 1 # SELinux权限
systemctl start haproxy

验证：访问 http://haproxy_ip:8100/rabbitmq 查看节点健康状态。

优势：

客户端仅需连接HAProxy的单一IP（haproxy_ip:5672）。
自动屏蔽宕机节点，实现无缝故障转移。

HAProxy+Keepalived：负载均衡层高可用

问题：HAProxy自身可能宕机，需避免单点故障。

解决方案：

VIP（虚拟IP）：通过Keepalived将VIP绑定到主HAProxy节点。
故障转移：主节点宕机时，VIP自动漂移到备用节点。

配置步骤：

Keepalived主节点配置（/etc/keepalived/keepalived.conf）：

global_defs {
  router_id mq_primary
}

vrrp_script chk_haproxy {
  script "/etc/keepalived/haproxy_check.sh"
  interval 2
  weight -20
}

vrrp_instance VI_1 {
  state MASTER
  interface eth0
  virtual_router_id 51
  priority 100
  authentication {
    auth_type PASS
    auth_pass 1111
  }
  virtual_ipaddress {
    192.168.57.238/24 # VIP
  }
  track_script {
    chk_haproxy
  }
}

健康检查脚本（/etc/keepalived/haproxy_check.sh）：

#!/bin/bash
if ! ps aux | grep haproxy | grep -v grep > /dev/null; then
  systemctl start haproxy || systemctl stop keepalived
fi

备用节点配置：
- 修改 state 为 BACKUP，priority 设为 50。

验证：

主节点运行 ip a 查看VIP绑定。
停止主节点Keepalived，VIP自动迁移至备用节点。

跨集群通信：Federation与Shovel

场景：跨地域机房（如北京↔洛杉矶）需同步消息，但直接组网延迟过高。

1 ) 方案1：Federation（联邦）
原理：

通过隐藏交换机跨集群转发消息。
支持交换机→交换机或队列→队列的单向/双向同步。

启用插件：

rabbitmq-plugins enable rabbitmq_federation
rabbitmq-plugins enable rabbitmq_federation_management

管控台配置：

Admin → Federation Upstreams 定义源集群地址。

局限：仅支持同类型实体（交换机/队列）间同步。

2 ) 方案2：Shovel（铲子）
原理：

灵活的消息转发机制，支持队列→交换机、队列→队列、交换机→交换机。
低延迟设计，适应跨机房高延迟场景。

启用插件：

rabbitmq-plugins enable rabbitmq_shovel
rabbitmq-plugins enable rabbitmq_shovel_management

NestJS集成示例（消息中转服务）：

// shovel.service.ts
import { connect } from 'amqplib';
 
async function setupShovel() {
  const srcConn = await connect('amqp://beijing_mq');
  const destConn = await connect('amqp://la_mq');
  
  const srcChannel = await srcConn.createChannel();
  const destChannel = await destConn.createChannel();
 
  // 从北京集群队列拉取，转发至洛杉矶集群交换机
  srcChannel.consume('beijing_queue', (msg) => {
    if (msg) {
      destChannel.publish('la_exchange', '', msg.content);
      srcChannel.ack(msg);
    }
  });
}

优势对比：

特性	Federation	Shovel
灵活性	较低（同类型转发）	高（任意组合）
配置复杂度	高	低
适用场景	长期稳定同步	临时/灵活迁移

工程示例：基于NestJS的RabbitMQ高可用实践

1 ) 方案1：基础镜像队列+客户端负载均衡
适用场景：中小型云原生应用。
步骤：

部署3节点RabbitMQ集群，启用镜像队列：

rabbitmqctl set_policy ha-all ".*" '{"ha-mode":"all"}' --priority 0

NestJS客户端配置多节点连接（如二、方案1）。

2 ) 方案2：HAProxy+Keepalived双活网关
适用场景：传统企业级架构，需单一接入点。
架构：

关键配置：

Keepalived：主备节点优先级差异（主100，备50）。
HAProxy：balance roundrobin + 健康检查。

3 ) 方案3：跨地域Shovel消息中继
场景：全球化业务（如订单数据同步）。
NestJS中转服务核心代码：

// cross-region.service.ts
import { Process, Processor } from '@nestjs/bull';
import { createChannel } from './rabbitmq-helper';
 
@Processor('shovel_jobs')
export class CrossRegionService {
  @Process()
  async handleShovel() {
    const srcChannel = await createChannel('amqp://us_mq');
    const destChannel = await createChannel('amqp://eu_mq');
    
    srcChannel.consume('orders_us', (msg) => {
      if (msg) {
        destChannel.publish('orders_eu', 'routing.key', msg.content);
        srcChannel.ack(msg);
      }
    });
  }
}