RocketMQ是什么

是一个队列模型的消息中间件，具有高性能、高可靠、高实时、分布式特点。

Producer、Consumer、队列都可以分布式、

Producer向一些队列轮流发送消息，队列集合称为Topic，Consumer如果做广播消费，则一个consumer实例消费这个Topic对应的所有队列，如果做集群消费，则多个consumer实例平均消费这个topic对应的队列集合

能够保证严格的消息顺序

提供丰富的消息拉取模式

高效的订阅者水平扩展能力

实时的消息订阅机制

亿级消息堆积能力

较少的依赖

2.RocketMQ物理部署结构

RocketMQ网络部署特点

Name Server是一个几乎无状态的节点，可集群部署，节点之间无任何信息同步。

Broker部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的BrokerName，不同的BrokerId来定义，BrokerId为0表示Master，非0表示Slave，Master也可以部署多个，每个Broker与Name Server集群中的所有节点建立长连接，定时注册Topic信息到所有Name Server。

Producer与Name Server集群中的其中一个节点（随机选择）建立长连接，定期从Name Server 取Topic路由信息，并向提供Topic服务的Master建立长连接，且定时向Master发送心跳，Producer完全无状态，可集群部署。

Consumer与Name Server集群中的其中一个节点（随机选择）建立长连接，定期从Name Server取Topic路由信息，并向提供Topic服务的Master、Slave建立长连接，且定时向Master、Slave发送心跳、Consumer既可以从Master订阅消息，也可以从Slave订阅消息，订阅规则由Broker配置决定。

（3）RocketMQ逻辑部署结构

Prodcer Group

用来表示一个发送消息应用，一个Producer Group下包含多个Producer实例，可以是多台机器，也可以是一台机器的多个进程，或者一个进程的多个Producer对象，一个Producer Group可以发送多个Topic消息，Producer Group作用如下：

1、标识一类Producer

2、可以通过运维工具查询这个发送消息应用下有多个Producer实例

3、发布分布式事务消息时，如果Producer中途意外宕机，Broker会主动回调Producer Group内的任意一台机器来确认事务的状态。

Consumer Group

用来表示一个消费消息应用，一个Consumer Group下包含多个Ｃｏｎｓｕｍｅｒ实例，可以是多台机器，也可以是多个进程，或者一个进程的多个consumer对象。一个Consumer Group下的多个Consumer以均摊方式消费消息，如果设置为广播方式，那么这个Consumer Group下的每个实例都消费全量数据。

（6）RocketMQ存储特点

1零拷贝原理

Consumer消费消息过程，使用了零拷贝，零拷贝包含两种方式：

1.使用mmap+write方式

优点：即使频繁调用，使用小块文件传输，效率也很高

缺点：不能很好利用DMA方式，会比sendfile多消耗CPU，内存安全性控制复杂，需要避免JVM Crash问题。

2.使用sendfile方式

优点：可以利用DMA方式，消耗CPU较少，大块文件传输效率高，无内存安全新问题。

缺点：小块文件效率低于mmap方式，只能是BIO方式传输，不能使用NIO。

RocketMQ选择第一种方式，mmap+write方式，因为有小块数据传输的需求，效果会比sendfile更好。

（2）文件系统

RocketMQ选择Linux Ext4文件系统，原因如下：

Ext4文件系统删除1G大小的文件通常耗时小于50ms，而Ext3文件系统耗时约1s左右，且删除文件时，磁盘IO压力极大，会导致IO写入超时。

（3）数据存储结构

（4）存储目录结构