史上最强消息队列之rocketmq_rokectmq-优快云博客

本文链接：https://blog.youkuaiyun.com/tangtangttttt/article/details/145945353

一、rokectmq介绍

Apache RocketMQ是一个分布式消息传递和流媒体平台，具有低延迟、高性能和可靠性、万亿级别的容量和灵活的可伸缩性。

二、rokectmq特性

发布/订阅消息传递模型
定期消息传递
按时间或偏移量进行消息回溯
日志中心流
大数据集成
在同一队列中可靠的FIFO和严格的有序消息传递
有效的拉伸消费模式
在一个队列中有百万级的消息积累容量
多种消息传递协议，如JMS和OpenMessaging
灵活的分布式扩展部署体系结构
快速批量消息交换系统。
各种消息过滤机制，如SQL和标记
用于隔离测试和云隔离集群的Docker映像。
用于配置、度量和监视的功能丰富的管理仪表板

三、使用rocketmq理由

强调集群无单点，可扩展，任意一点高可用，水平可扩展

方便集群配置，而且容易扩展（横向和纵向），通过slave的方式每一点都可以实现高可用

支持上万个队列，顺序消息

顺序消费是实现在同一队列的，如果高并发的情况就需要队列的支持，rocketmq可以满足上万个队列同时存在

任性定制你的消息过滤

rocketmq提供了两种类型的消息过滤，也可以说三种可以通过topic进行消息过滤、可以通过tag进行消息过滤、还可以通过filter的方式任意定制过滤

消息的可靠性（无Buffer，持久化，容错，回溯消费）

消息无buffer就不用担心buffer回满的情况，rocketmq的所有消息都是持久化的，生产者本身可以进行错误重试，发布者也会按照时间阶梯的方式进行消息重发，消息回溯说的是可以按照指定的时间进行消息的重新消费，既可以向前也可以向后（前提条件是要注意消息的擦除时间）

海量消息堆积能力，消息堆积后，写入低延迟

针对于provider需要配合部署方式，对于consumer，如果是集群方式一旦master返现消息堆积会向consumer下发一个重定向指令，此时consumer就可以从slave进行数据消费了

分布式事务

rocketmq对这一块说的不是很清晰，而且官方也说现在这块存在缺陷（会令系统pagecache过多），所以线上建议还是少用为好
消息失败重试机制

针对provider的重试，当消息发送到选定的broker时如果出现失败会自动选择其他的broker进行重发，默认重试三次，当然重试次数要在消息发送的超时时间范围内。

针对consumer的重试，如果消息因为各种原因没有消费成功，会自动加入到重试队列，一般情况如果是因为网络等问题连续重试也是照样失败，所以rocketmq也是采用阶梯重试的方式。

定时消费

除了上面的配置，在发送消息是也可以针对message设置setDelayTimeLevel

活跃的开源社区

现在rocketmq成为了apache的一款开源产品，活跃度也是不容怀疑的

成熟度

经过双十一考验

四、rocketmq核心概念

NameServer

这里我们可以理解成类似于zk的一个注册中心，而且rocketmq最初也是基于zk作为注册中心的，现在相当于为rocketmq自定义了一个注册中心，代码不超过1000行。RocketMQ 有多种配置方式可以令客户端找到 Name Server, 然后通过 Name Server 再找到 Broker，分别如下，优先级由高到低，高优先级会覆盖低优先级。客户端提供http和ip:端口号的两种方式，推荐使用http的方式可以实现nameserver的热部署。

Push Consumer

Consumer 的一种，应用通常通过 Consumer 对象注册一个 Listener 接口，一旦收到消息，Consumer 对象立刻回调 Listener 接口方法，类似于activemq的方式

Pull Consumer

Consumer 的一种，应用通常主动调用 Consumer 的拉消息方法从 Broker 拉消息，主动权由应用控制

Producer Group

一类producer的集合名称，这类producer通常发送一类消息，且发送逻辑一致

Consumer Group

同上，consumer的集合名称

Broker

消息中转的角色，负责存储消息（实际的存储是调用的store组件完成的），转发消息，一般也称为server，同jms中的provider

Message Filter

可以实现高级的自定义的消息过滤

Master/Slave

集群的主从关系，broker的name相同，brokerid=0的为主master，大于0的为从slave，可以一主多从，但一从只能有一主

五、rocketmq角色

RocketMQ由四部分构成：Producer、Consumer、Broker和NameServer

启动顺序：NameServer->Broker

为了消除单点故障，增加可靠性或增大吞吐量，可以在多台机器上部署多个nameserver和broker，并且为每个broker部署1个或多个slave

在这里插入图片描述

Topic & message queue：一个分布式消息队列中间件部署好以后，可以给很多个业务提供服务，同一个业务也有不同类型的消息要投递，这些不同类型的消息以不同的 Topic 名称来区分。所以发送和接收消息前，先创建topic，针对某个 Topic 发送和接收消息。有了 Topic 以后，还需要解决性能问题。如果一个Topic 要发送和接收的数据量非常大，需要能支持增加并行处理的机器来提高处理速度，这时候一个 Topic 可以根据需求设置一个或多个 Message Queue, Message Queue 类似分区或 Partition 。Topic有了多个 Message Queue 后，消息可以并行地向各个Message Queue 发送，消费者也可以并行地从多个 Message Queue 读取消息并消费。