RabbitMQ——镜像队列的数据流

【概述】

rabbitmq采用了镜像队列的方式实现队列的高可用,镜像队列的使用、配置、内部实现原理网上有很多文章都有介绍,自己很久之前也曾总结过相关内容。但回过头再来看镜像队列,仍然有新的发现,本文分析总结了镜像队列生产消费的数据流以及节点流量,以便更好的使用镜像队列。

【生产消费的数据流】

分析镜像队列之前,我们还是先一步步从单机情况下,集群情况下看看生产消费的数据流走向是怎样的,最后再分析镜像队列的场景。

  • 单机场景:

如上图所示,生产者,消费者连接到rabbitmq后,在rabbitmq内部会创建对应的connection,channel进程。connection进程从socket上接收生产者发送消息后投递到channel进程;在channel进程中,根据消息发送的exchange与消息的routing-key,在内部数据库的路由表中,查找所有匹配的队列的进程PID,然后将消息投递到这些队列的进程中。

同样,队列进程收到消息后,找到消费者对应的channel进程PID,然后将消息投递给该进程,channel进程再发送给对应的connection进程,然后通过socket发送给消费者。

从上面可以看出,一条消息从生产到消费,rabbitmq的节点上会有1进1出的流量。

补充说明下:在rabbitmq内部会为每个tcp链接创建多个进程,其中包括专门用于数据接收的rabbit_reader进程,专门用于数据发送的rabbit_writer进程,本文为了方便表达,统一使用connection进程进行socket数据的收发

RabbitMQ是一个流行的开源消息代理,支持多种消息协议。在RabbitMQ中,镜像队列和仲裁队列都是提高可用性的机制。 - 镜像队列: 在RabbitMQ中,镜像队列是一种高可用性队列,它通过在多个节点之间复制队列来提供可靠性。在镜像队列中,队列中的每个消息都会被复制到多个节点上,这样即使某个节点出现故障,也可以从其他节点上获取队列中的消息。但是,镜像队列存在一些局限性,例如在复制大量消息时可能会导致性能问题,而且在节点之间复制队列时需要使用网络带宽。 - 仲裁队列: 在RabbitMQ中,仲裁队列是一种用于提高可用性的机制,它通过在多个节点之间复制队列的元数据来提供可靠性。在仲裁队列中,队列中的每个消息都不会被复制到多个节点上,而是只存储在一个节点上,其他节点只复制队列的元数据。当节点出现故障时,其他节点可以使用队列的元数据来恢复队列。相比于镜像队列,仲裁队列在复制队列时需要使用的网络带宽更少,但是在节点故障时需要更多的时间来恢复队列。 下面是一个使用RabbitMQ镜像队列和仲裁队列的例子: ```python import pika # 连接到RabbitMQ服务器 connection = pika.BlockingConnection(pika.ConnectionParameters('localhost')) channel = connection.channel() # 创建一个镜像队列 channel.queue_declare(queue='mirror_queue', durable=True, arguments={'x-ha-policy': 'all'}) # 创建一个仲裁队列 channel.queue_declare(queue='quorum_queue', durable=True, arguments={'x-queue-type': 'quorum'}) # 发送消息镜像队列 channel.basic_publish(exchange='', routing_key='mirror_queue', body='Hello, mirror queue!', properties=pika.BasicProperties(delivery_mode=2)) # 发送消息到仲裁队列 channel.basic_publish(exchange='', routing_key='quorum_queue', body='Hello, quorum queue!', properties=pika.BasicProperties(delivery_mode=2)) # 关闭连接 connection.close() ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值