MQ称为Message Queue 解决项目之间的耦合问题 解决A和B项目之间的通信
主流MQ对比:Kafka、RocketMq、RabbitMq
Kafka:Apache下的子项目,使用scala实现的一个高性能分布式Publish/Subscribe消息队列系统(用于日志领域)
- 快速持久化:通过磁盘顺序读写与零拷贝机制,可以在O(1)的系统开销下消息持久化
- 高吞吐:在一台普通服务器上既可以达到10w/s的吞吐速率
- 高堆积:支持topic下消费者较长时间离校,消息堆积量大
- 完全的分布式系统:Broker、Producer、Consumer都原生自动支持分布式,依赖zookeeper自动实现负载均衡
- 支持Hadoop数据并行加载:对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案
RocketMq:前身是Metaq,发布3.0时改名为RocketMq。RocketMq是一款分布式、队列模型的消息中间件(正常业务)
- 能够保证严格的消息顺序
- 提供丰富的消息拉取模式
- 高效的订阅者水平扩展能力
- 实时的消息订阅机制
- 支持事物消息
- 亿级消息堆积能力比kafka低一点点
RabbitMq:使用Erlang编写的开源的消息队列,本身支持很多的协议:AMQP,XMPP,SMTP,STOMP,使它变的非常重量级,适合于企业级的开发
- 路由(Routing)
- 负载均衡(Load balance)
- 数据持久化
Kafka |
RocketMq |
RabbitMq | |
设计定位 |
系统间的数据流管道,实时数据处理 例如:常规的消息系统、网站活跃性跟踪、监控数据、日志收集
|
非日志的可靠消息传输 例如:订单,交易,充值,流计算,消息推送,binlog分发
|
可靠消息传输和RocketMq类似
|
所属社区 |
Apache |
Alibaba开发,假如Apache下 |
Mozilla Public License |
开发语言 |
Scala |
Java |
Erlang |
支出协议 |
一套自行设计的基于TCP的二进制协议 |
自定义的一套 |
AMQP
|
客户端语言 |
C/C++、Python、Go、Erlang、Ruby、Node.js、Java、PHP等 |
Java |
Java、C/C++、Python、PHP |
持久化方式 |
磁盘文件 |
磁盘文件 |
内存、文件 |
部署方式 |
单机/集群 |
单机/集群 |
单机/集群 |
集群管理 |
zookeeper |
name server | |
选主方式 |
从ISR中自动选举一个leader |
不支持自动选主。通过设定brokername、brokerid实现,brokername相同,brokerid=0时为master其他为slave |
最早入集群的broker |
可用性 |
非常高 分布式、主从 |
非常高 分布式、主从 |
高 主从,采用镜像模式实现,数据最大时可能产生性能瓶颈
|
主从切换 |
自动切换 N个副本,允许N-1个失效;master失效以后自动从ISR中选择一个主 |
不支持自动切换 master失效以后不能向master发送消息,consumer大概30s可以感知此事件,此后从slave消费;如果master无法恢复,异步复制此时可能出现部分信息丢失 |
自动切换 最早加入集群的slave会成为master;因为新加入的slave不会同步master之前的数据,所以可能回出现部分数据丢失 |
数据可靠性 |
很好 支持producer单条发送、异步刷盘、同步复制,但这种场景下性能明显下降 |
很好 producer单条发送,broker端支持同步刷盘,同步双写,异步复制 |
好 producer支持同步/异步ack,支持队列数据持久化,镜像模式中支持主从同步 |
消息写入性能 |
非常好 每条10个字节测试:百万条/s |
很好 每条10个字节测试:单机单broker越7w/s,单机3broker约12w/s |
RAM约为RocketMq的1/2 Disk的性能为RAM性能的1/3 |
定时消息 |
开源版本仅支持定时Level | ||
事务消息 |
不支持 |
支持 |
不支持 |
消息查询 | 不支持 |
根据MessageId查询 | 不支持 |
优点 |
1、高吞吐、低延迟、高可用、集群热扩展、集群容错上变现非常好 2、producer端提供缓存、压缩功能,可节省性能,提高效率 3、提供顺序消费能力 4、提供多种客户端语言 5、生态完善,在大数据处理方面 有大量配套设施 |
1、高吞吐、低延迟、高可用、消息堆积、性能很好 2、api、系统设计更下适合在业务处理场景 3、支持多种消费方式 4、支持broker消息过滤 5.支持事物 6、提供消息顺序消费能力;consumer可以水平扩展,消费能力很强 7、集群规模在50台左右,单日处理消息上百亿;经历过大数据量的考验,比较稳定可靠 |
1、在高吞吐量、高可用上前两者都有所不如 2、支持多客户端语言;支持amqp协议 3、由于erlange语言特性,性能比较好,使用RAM模式时,性能很好 4、管理界面非常丰富 |
缺点 |
1、消费集群数目受到分区数目限制 2、单机topic多时,性能会明显降低 3、不支持事务 |
1、相比于kafka,消息推挤、吞吐率也有所哺乳 2、不支持主从自动切换,master失效后,消费者要一定的时间才能感知 3、客户端只支持java |
1、erlang语言难度较大,集群不支持动态扩展 2、不支持事务、消息吞吐能力有限 3、消息堆积时,性能会明显下降 |