RocketMQ物理架构

       消息队列RocketMQ是阿里巴巴集团基于高可用分布式集群技术,自主研发的云正式商用的专业消息中间件,即可为分布式应用系统提供异步解耦和削峰填谷的能力,同时也具备互联网应用所需的海量消息堆积、高吞吐、可靠重试等特性,是阿里巴巴双11使用的核心产品。

       RocketMQ的设计基于主题的发布与订阅模式,其核心功能包括消息发送、消息存储(Broker)、消息消费,整体设计追求简单与性能第一。

核心概念

1、NameServer

       NameServer是一个非常简单的Topic路由注册中心,其角色类似eureka实现服务注册与发现,支持Broker的动态注册与发现。主要包括两个功能:

  • Broker管理:NameServer接收Broker集群的注册信息并且保存下来作为路由信息的基本数据,然后提供心跳检测机制,检查Broker是否还存活。
  • 路由信息管理:每个NameServer将保存关于Broker集群的整个路由信息和用于客户端查询的队列信息。然后Producer和Consumer通过NameServer就可以知道整个Broker集群的路由信息,从而进行消息的投递、消费。NameServer通常也是集群的方式部署,各实例间相互不进行信息通讯。Broker是向每一台NameServer注册自己的路由信息,所以每一个NameServer实例上面都保存一份完整的路由信息。当某个NameServer因某种原因下线了,Broker任然可以向其它NameServer同步其路由信息,Producer、Consumer仍然可以动态感知Broker的路由信息。

2、Producer(生产者)

       消息发布的角色,支持分布式集群方式部署。Producer通过MQ的负载均衡模块选择相应的Broker集群队列进行消息投递,投递的过程支持快速失败并且低延迟。

3、Consumer(消费者)

       消息消费的角色,支持分布式集群方式部署。支持以push推、pull拉两种模式对消息进行消费。同时也支持集群方式和广播方式的消费,它提供实时消费订阅机制,可以满足大多数用户的需求。

4、Broker(主机)

       主要负责消息的存储、投递和查询以及服务高可用,为了实现这些功能,Broker包含以下子模块:

  • remoting module:整个Broker的实体,负责处理来自client端的请求;
  • client manager:负责管理客户端(Producer/Consumer)和维护Consumer的Topic订阅消息;
  • store service:提供方便简单的API接口处理消息存储到物理硬盘和查询功能;
  • ha service:高可用服务,提供Master Broker和Slave Broker之间的数据同步功能;
  • index service:根据特定的Message Key对投递到Broker的消息进行索引服务,以提供消息的快速查询。

架构组件工作流程

  • NameServer先启动
  • Broker启动时向NameServer注册
  • 生产者在发送某个主题的消息之前先从NameServer获取Broker服务器地址列表(有可能是集群),然后根据负载均衡算法从列表中选择一台Broker进行消息发送
  • NameServer与每台Broker服务保持长连接,并间隔30s检测Broker是否存在,如果检测到Broker宕机(使用心跳机制,如果检测超过120s),则从路由注册表中将其移除
  • 消费者在订阅某个主题的消息之前从NameServer获取Broker服务器地址列表(有可能是集群),但是消费者选择从Broker中订阅消息,订阅规则由Broker配置决定
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值