RabbitMQ: 集群技术详解之优势、架构与搭建实践

RabbitMQ备份与恢复技术详解:策略、工具与最佳实践 RabbitMQ作为广泛使用的消息中间件,其高可用性和数据持久化能力使其成为分布式系统的核心组件。然而,硬件故障、人为误操作或灾难性事件仍可能导致数据丢失或服务中断。因此,建立可靠的备份与恢复机制是运维工作的关键环节。本文基于RabbitMQ官方文档,结合实践经验,深入探讨其备份与恢复的技术细节、实用技巧与最佳实践。RabbitMQ的备份与恢复需根据业务需求权衡一致性、可用性与复杂性。在集群环境中,结合镜像队列与定期备份可最大化数据安全性;单节点场景下,自动化导出定义与消息目录备份是成本较低的方案。 阅读详情

RabbitMQ集群的核心优势


  1. 扩展性提升(Scale-Out)

    • 问题:单节点扩容(Scale-Up)需停机迁移数据(物理机)或重启扩容(云服务器),导致业务中断。
    • 解决方案:集群通过 横向扩展节点数量 实现容量与性能提升。例如,新增云服务器部署RabbitMQ节点并加入集群,无需停机即可完成扩容。
  2. 数据冗余机制

    • 单节点风险:
      • 内存型节点宕机导致队列数据丢失。
      • 磁盘型节点即使持久化,仍可能因物理磁盘损坏丢失数据。
    • 解决方案:集群通过 镜像队列(Mirrored Queues) 将队列数据复制到多个节点,确保单点故障时数据完整性。
  3. 高可用保障

    • 核心区别:数据冗余 ≠ 高可用。高需解决 服务连续性 问题。
    • 实现方式:
      • 节点宕机后,负载均衡将请求自动转移到其他存活节点。
      • 镜像队列提供数据支撑,保证集群持续服务直至故障修复。

RabbitMQ集群架构与拓扑原理


  1. 架构特点

    • 元数据共享:所有节点同步存储交换机、队列、绑定关系等元数据。
    • 队列数据分离:消息实际存储于 创建队列的节点,其他节点仅保存元数据。
    • 跨节点访问:客户端连接任意节点均可访问集群中所有队列,请求通过内部转发实现。
  2. 拓扑结构示例

    +-----------------------+     +-----------------------+     +-----------------------+
    |      Node 1           |     |      Node 2           |     |      Node 3           |
    | [Exchanges, Bindings] |<--->| [Exchanges, Bindings] |<--->| [Exchanges, Bindings] |
    | Queue A (Data)        |     | Queue B (Data)        |     | Queue C (Data)        |
    +-----------------------+     +-----------------------+     +-----------------------+
    

RabbitMQ集群搭建实践


  1. 基础配置
  • 主机名与Hosts配置
    确保节点间通过主机名互通(/etc/hosts):

    192.168.57.134 mq01.localhost
    192.168.57.135 mq02.localhost
    192.168.57.129 mq03.localhost
    
  • 依赖安装
    所有节点安装Erlang、RabbitMQ及依赖:

    # CentOS 示例
    yum install -y epel-release
    yum install -y erlang socat wget 
    wget https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.10.0/rabbitmq-server-3.10.0-1.el8.noarch.rpm
    rpm --import https://github.com/rabbitmq/signing-keys/releases/download/2.0/rabbitmq-release-signing-key.asc 
    rpm -Uvh rabbitmq-server-3.10.0-1.el8.noarch.rpm 
    
  1. 集群组建关键步骤
  • Erlang Cookie同步
    Cookie路径: /var/lib/rabbitmq/.erlang.cookie
    需确保所有节点Cookie一致:

    # 停止服务后同步Cookie(示例:从mq01同步到mq02)
    systemctl stop rabbitmq-server
    chmod 777 /var/lib/rabbitmq/.erlang.cookie  # 临时放宽权限
    scp /var/lib/rabbitmq/.erlang.cookie root@mq02:/var/lib/rabbitmq/.erlang.cookie
    chmod 400 /var/lib/rabbitmq/.erlang.cookie  # 恢复权限 
    
  • 节点加入集群

    # 在mq02执行(加入mq01集群)
    rabbitmqctl stop_app
    rabbitmqctl join_cluster rabbit@mq01  # 默认磁盘节点;添加`--ram`为内存节点 
    rabbitmqctl start_app
    
  1. 集群验证与管理
  • 管控台访问
    创建管理员用户:

    rabbitmqctl add_user test test
    rabbitmqctl set_user_tags test administrator
    rabbitmqctl set_permissions -p / test ".*" ".*" ".*"
    

    访问 http://<节点IP>:15672 查看节点状态。

  • 队列创建测试
    在管控台创建队列时,需指定存储节点(如 mq03),消息仅存于该节点,其他节点通过元数据定位。

工程示例:基于NestJS的RabbitMQ集成方案


1 ) 方案1:基础消息生产消费

// 安装依赖:npm install @golevelup/nestjs-rabbitmq amqplib 
import { Module } from '@nestjs/common';
import { RabbitMQModule } from '@golevelup/nestjs-rabbitmq';
 
@Module({
  imports: [
    RabbitMQModule.forRoot(RabbitMQModule, {
      exchanges: [{ name: 'demo_exchange', type: 'direct' }],
      uri: 'amqp://test:test@mq01.localhost:5672', // 集群节点列表 
      connectionInitOptions: { wait: true },
    }),
  ],
  providers: [MessageProducer],
})
export class AppModule {}
 
// 消息生产者
import { RabbitRPC } from '@golevelup/nestjs-rabbitmq';
@Controller()
export class MessageProducer {
  @RabbitRPC({
    exchange: 'demo_exchange',
    routingKey: 'rpc_key',
    queue: 'demo_queue',
  })
  handleRpc(data: any) {
    return { response: `Processed: ${data.id}` };
  }
}

2 ) 方案2:镜像队列配置(高可用)

通过RabbitMQ Policy设置镜像队列:

# 命令配置(在任一节点执行)
rabbitmqctl set_policy ha-all "^ha." '{"ha-mode":"all"}' --apply-to queues 

NestJS中声明队列时启用镜像:

@RabbitSubscribe({
  exchange: 'ha_exchange',
  routingKey: 'ha_key',
  queue: 'ha_queue',
  queueOptions: {
    durable: true,
    arguments: { 'x-ha-policy': 'all' }, // 启用镜像 
  },
})
handleMessage(data: any) { ... }

3 ) 方案3:多节点负载均衡(客户端级)

配置多个URI实现故障转移:

RabbitMQModule.forRoot(RabbitMQModule, {
  uri: [
    'amqp://test:test@mq01:5672',
    'amqp://test:test@mq02:5672',
    'amqp://test:test@mq03:5672',
  ],
  enableControllerDiscovery: true,
})

集群方案对比与选型建议


方案适用场景优势注意事项
基础集群元数据共享,队列分散存储扩展简单,无数据冗余开销单点队列故障导致数据丢失
镜像队列高可用需求场景数据冗余,队列故障自动切换性能开销增加(网络复制)
多节点负载均衡客户端级容灾连接层高可用,自动重连存活节点需确保镜像队列已启用

关键结论:

  • 扩展性:通过横向扩容实现(Scale-Out)。
  • 数据安全:依赖镜像队列而非基础集群。
  • 高可用:需结合镜像队列 + 客户端负载均衡。

总结

RabbitMQ集群通过 元数据共享 和 节点互联 提升扩展性,但需配合 镜像队列 与 客户端负载均衡 实现数据安全与服务高可用。搭建时需严格遵循Erlang Cookie同步与主机名解析规范,NestJS生态可通过灵活的模块配置对接集群特性,满足不同级别的可靠性需求。

RabbitMQ 的三种集群模式 三种集群模式:标准、镜像、联邦集群。 对于标准集群,节点共享元数据,但消息只存在一个节点。元数据的内容:队列、交换机、绑定关系等, 而消息本身不复制。性能和资源利用的优势,但单点故障的问题,比如队列所在节点宕机的影响。 镜像集群是解决高可用的问题,每个队列的镜像分布在多个节点。 需要说明如何配置策略,同步方式,以及自动故障转移的机制。 同时要指出资源消耗和网络带宽的问题,适合需要高可用性的场景。 联邦集群用于跨地域的多活部署,数据可以异步复制。 阅读详情

相关推荐

【PDN仿真笔记9-使用Sigrity PowerDC进行IR Drop仿真的方法】

使用Sigrity PowerDC进行IR Drop进行仿真的方法

qq_42682826的博客 8009

RabbitMQ:集群

单机版的RabbitMQ服务器集群模式,不仅要面临服务器因为各种原因导致崩溃无法使用的情况,其吞吐量也是有限的。购买昂贵的服务器来增强单机RabbitMQ服务的性能显得捉襟见肘时,搭建一个RabbitMQ集群才是解决实际问题的关键。 RabbitMQ集群允许消费者和生产者在RabbitMQ单个节点崩溃的情况下继续运行,它可以通过添加更多的节点来线性地扩展消息通信的吞吐量。当其中一个RabbitMQ故障时,客户端能够重新连接到集群中的任何其它节点并继续生产或者消费。 不过RabbitMQ集群不能保证消息的万无

上海一九四三 2472

UFS逻辑单元管理

介绍UFS 逻辑单元管理和配置

m0_51720747的博客 1950

RabbitMq架构及集群搭建

rabbitmq原理及集群搭建

shy871的博客 530

JQ8900语音播报模块在RT-Thread系统下的驱动移植与测试详解

本文详细讲解了如何在RT-Thread嵌入式操作系统中,为JQ8900语音播报模块进行驱动移植与功能测试。内容涵盖从获取驱动代码、配置Kconfig工程、编译烧录到核心代码解析的完整流程,并提供了基于串口通信的上电测试与问题排查方法,帮助开发者快速掌握在RT-Thread系统下集成外部模块的核心技能。

weixin_35677363的博客 594

Vanna 2.0:基于LLM的智能文本到SQL框架,实现企业级数据查询与权限控制

文本到SQL技术是自然语言处理与数据库交互的重要桥梁,它允许用户使用日常语言直接查询数据库,无需编写复杂的SQL语句。其核心原理是利用大语言模型理解用户意图,并结合检索增强生成技术,将自然语言问题转换为准确的结构化查询语言。这项技术的价值在于大幅降低了数据访问门槛,提升了业务人员的数据自助分析能力,并能在金融分析、销售报表、运营监控等场景中实现实时数据洞察。Vanna 2.0作为一个开源框架,通过引入用户感知的智能体架构和行级安全策略,解决了企业级应用中的多租户数据隔离与权限控制等关键问题,使得自然语言数据

weixin_42629522的博客 547

Windows环境搭建RabbitMQ集群

一、事先准备: 1.两台windows主机,当然也可以用虚拟机。 2.安装erlang以及rabbitmq 二、安装完成的单台rabbitmq服务情况 1.两台windows主机rabbitmq相关内容: a:192.168.0.88 rabbitmq节点名称:rabbit@LAPTOP-UO88M5R6 b: 192.168.0.184 rabbitmq节点名称:rabbit@USER-2016...

weixin_46106066的博客 1404

Android系统开发工程师面试指南与参考答案

本文整理了Android系统开发工程师面试常见问题与参考答案。核心内容涵盖:1)Framework层定制方法,如修改HAL和系统服务;2)ANR问题分析工具(systrace)与解决方案;3)性能优化实践,包括开机加速和功耗管理;4)四大组件工作机制与应用案例;5)Native崩溃调试技巧。文章强调通过AOSP源码研究、工具使用和项目案例准备来提升面试表现,重点考察应聘者的系统开发深度和实操能力。参考答案均基于实际开发经验,提供可量化的优化成果说明。

郑伟强dev的专栏 259

RabbitMQ集群搭建与性能优化

在消息队列的世界里,RabbitMQ是一款备受青睐的消息中间件。为了提升其性能和可靠性,搭建RabbitMQ集群是一个非常有效的策略。接下来,我们就一起深入学习如何搭建RabbitMQ集群并对其进行性能优化。

fykam的博客 649

YOLOv8+SAM强强联合:用分割“喂“检测,复杂背景下作物AP从72%干到77.7%,杂草误检降60%

目标与背景高度相似:如农业(作物vs杂草)、工业(零件vs台面)、医学(病灶vs正常组织);遮挡严重的场景:如密集人群(人被遮挡)、森林(树木被枝叶遮挡);小目标密集场景:如无人机航拍(远处小目标易混背景)。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 793

10万+字超硬核 机器学习 笔记(面试八股)

10w字总结面试中可能用到的机器学习八股和常用算法,包括感知机(Perceptron)、多层感知机(MLP, Multi-Layer Perceptron)、支持向量机(SVM, Support Vector Machine)、K 最近邻(KNN, K-Nearest Neighbors)、朴素贝叶斯(Naive Bayes)、决策树(Decision Tree)、随机森林(Random Forest)、Bagging、Boosting、GBDT、XGBoos、LightGBM等。

haopinglianlian的博客 4662

RabbitMQ 集群

RabbitMQ 集群 RabbitMQ 有 3 种模式,其中 2 种是集群模式。 单一模式:即单机情况不做集群,就单独运行一个 RabbitMQ 而已。 普通模式:默认模式,以两个节点(A、B)为例来进行说明: 当消息进入 A 节点的 Queue 后,Consumer 从 B 节点消费时,RabbitMQ 会在 A 和 B 之间创建临时通道进行消息传输,把 A 中的消息实体取出并经过通过交给 B 发送给 Consumer。 当 A 故障后,B 就无法取到 A 节点中未消费的消息实体;如果做了消息

bier_zm的博客 4112

数字逻辑Fundamentals of Digital Logic with Verilog Design | 3rd Edition Solutins Chapter 3(step by step)

第三章3-1~3-27全部习题解析和代码模块

weixin_62651190的博客 1946

RabbitMQ - 多实例部署:基础集群搭建全流程

RabbitMQ多实例集群搭建指南 本文详细介绍RabbitMQ多实例集群的部署流程,包括三种集群架构模式: 普通集群模式:节点共享元数据,但消息仅存储在创建队列的节点 镜像队列模式:队列在多个节点创建镜像副本,实现高可用性 Quorum队列模式:基于Raft算法,提供强一致性保证 部署准备 系统要求:Linux环境,每个节点至少2GB内存 网络配置:开放5672、15672、25672等关键端口 主机名设置:确保节点间能通过主机名互相识别 安装步骤 安装Erlang运行时环境 部署RabbitMQ Ser

千淘万漉虽辛苦,吹尽狂沙始到金 2万+

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

RabbitMQ(五) rabbitMQ集群详解

一、 RabbitMQ集群架构模式 主备模式(Warren) 主节点提供读写功能,备用节点不提供任何读写功能,只是做备用。在主节点宕机时,能实现自动切换成为主节点,主节点成为备份节点。 一般在并发数和数据量不高的情况下,这种模型好用且简单。 主节点和备份节点共享存储,当主节点宕机HaProxy会自动将备份节点切换为主节点 HaProxy配置: listen rabbitmq_cluster ...

qq_38360901的博客 1325

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

RabbitMQ(基本概念+在docker容器化下安装与使用,集群搭建)

一、MQ: MQ全称MessageQueue(消息队列),是在消息的传输过程中保存消息的容器,多用于分布式系统之间进行通信。 MQ有如下特点 优势:1、应用解耦 2、任务异步处理 3、削峰填谷 劣势:1、系统可用性降低2、系统复杂性提高3、如何保证数据的一致性 常见的MQ产品: 本文主要讲解RabbitMQ的安装和使用。 二、RabbitMQ基本概念 1.Broker:接收和分发消息的应用,RabbitMQ Server就是 Message Broker 2.Virtual

m0_58996074的博客 5395

RabbitMQ集群搭建

RabbitMQ集群搭建

yemuxiaweiliang的博客 1602

RabbitMQ: 高可用集群与跨集群通信架构深度解析

RabbitMQ高可用方案核心是通过镜像队列实现数据冗余,结合负载均衡提升访问可靠性。镜像队列将数据复制到多个节点,配置策略如ha-mode="all"实现全节点同步。客户端可通过NestJS直连多节点或HAProxy负载均衡访问集群,后者需配合Keepalived实现VIP漂移防止单点故障。跨机房场景推荐Federation或Shovel插件同步消息。实践中小型应用可采用镜像队列+客户端负载均衡,大型系统建议HAProxy+Keepalived保障负载均衡层高可用。

Wang的专栏 1019

高可用RabbitMQ集群的搭建及原理分析

前言任何一个服务,如果仅仅是单机部署,那么性能总是有上限的,RabbitMQ也不例外,当单台RabbitMQ服务处理消息的能力到达瓶颈时,可以通过集群来实现高可用和负载均衡。Rabb...

JAVA高级架构 501

RabbitMQ: 基于Docker技术实施集群部署实战指南

Docker通过轻量级虚拟化(基于Linux内核的namespaces和cgroups)实现高效容器化,相比传统VM省去了Guest OS层,直接共享宿主机内核。文章详细演示了在CentOS 8安装Docker并部署RabbitMQ单节点和集群的完整流程,包括端口映射、环境变量配置和集群节点互联(通过共享Erlang cookie)。最后提供了NestJS集成RabbitMQ的两种代码方案:基础消息队列和RPC远程调用模式,展示了容器化中间件的实际应用。关键技术点包括Docker Compose编排、网络隔

Wang的专栏 2036

RabbitMQ实战:RabbitMQ与Kafka深度对比——架构、性能、场景、选型全解析

在现代分布式系统架构中,消息队列是实现服务解耦、异步通信、流量削峰、数据同步的核心中间件。RabbitMQ和Kafka。到底用RabbitMQ还是Kafka?各自有什么优势?分别适合什么场景?本文将从架构原理、核心特性、性能对比、可靠性、事务、适用场景等维度,对 RabbitMQ 和 Kafka 进行全方位、无死角深度对比,搭配流程图、对比表格,帮你彻底掌握两者的区别,做出最优技术选型。RabbitMQErlang(高并发、低延迟、软实时)传统分布式消息队列。

✨ 欢迎来到【Seal ^_^ 的优快云博客】!✨ 3066

RabbitMQ详解

基本消息队列的消息发送流程:建立connection创建channel利用channel声明队列利用channel向队列发送消息基本消息队列的消息接收流程:建立connection创建channel利用channel声明队列定义consumer的消费行为handleDelivery()利用channel将消费者与队列绑定多个消费者绑定到一个队列,同一条消息只会被一个消费者处理通过设置prefetch来控制消费者预取的消息数量交换机的作用是什么?接收publisher发送的消息。

KYGALYX的博客 3750

RabbitMQ详解与Java实现

两个服务调用时,我们可以通过传统的HTTP方式,让服务A直接去调用服务B的接口,但是这种方式是同步的方式,虽然可以采用SpringBoot提供的@Async注解实现异步调用,但是这种方式无法确保请求一定回访问到服务B的接口。那如何保证服务A的请求信息一定能送达到服务B去完成一些业务操作呢?

qq_45110186的博客 4815

RabbitMQ---集群搭建(HAProxy负载均衡高可用)

本次搭建只是rabbitmq服务的高可用负载均衡而不是rabbitmq消息的高可用负载均衡

weixin_46933739的博客 1036

突破性能瓶颈:RabbitMQ集群水平扩展与负载均衡实战指南

你是否正面临消息队列单机负载过高、峰值处理能力不足的困境?当业务增长导致消息量激增时,如何在不中断服务的情况下提升系统吞吐量?本文将通过实战案例,详解RabbitMQ集群的水平扩展方案与负载均衡策略,帮助你构建高可用、弹性伸缩的消息架构。读完本文后,你将掌握集群搭建、节点扩容、流量分发的核心技巧,轻松应对百万级消息处理需求。 ## 集群扩展的核心价值与挑战 在分布式系统架构中,RabbitMQ...

gitblog_00074的博客 857

rabbitmq集群部署

前言 为什么搭建rabbitmq集群?rabbitmq集群有那些模式?如何搭建Rabbitmq集群?rabbitmq镜像高可用策略有那些? 1、首先这款产品本身的优点众多,大家最看好的便是他的异步化提高系统抗峰值能力,然后便是系统及功能结构解耦,那么照此两点来说,他的在整个系统中的作用还是至关重要的,那么如此重要,当然要考虑他的高可用性,那么便有啦第一个问题的解答。 2、rabbitmq有3...

CrazyRango的博客 1424
上一篇: RabbitMQ: 单节点的三大瓶颈和思考
下一篇: RabbitMQ: 高可用集群与跨集群通信架构深度解析
Wang's Blog
博客等级 码龄12年 7438粉丝 2422原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Wang's Blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值