【MQ定义/优缺点/几种MQ对比】

MQ消息队列 全方位对比 本文对Kafka、RabbitMQ、RocketMQ等MQ消息队列进行全方位对比,涵盖开发语言、支持协议、消息存储、事务、负载均衡等方面。如Kafka追求高吞吐量,适合日志收集;RabbitMQ基于AMQP协议,适用于企业系统;RocketMQ高吞吐量、高可用,在阿里广泛应用。 阅读详情

廖志伟的自我介绍—


1、什么是MQ?为什么要用MQ?

MQ:MessageQueue,消息队列。 队列,是一种FIFO 先进先出的数据结构。消息由生产者发送到MQ进行排队,然后按原来的顺序交由消息的消费者进行处理。QQ和微信就是典型的MQ。
MQ的作用主要有以下三个方面:

  • 异步例子:快递员发快递,直接到客户家效率会很低。引入菜鸟驿站后,快递员只需要把快递放到菜鸟驿站,就可以继续发其他快递去了。客户再按自己的时间安排去菜鸟驿站取快递。作用:异步能提高系统的响应速度、吞吐量。
  • 解耦例子:《Thinking in JAVA》很经典,但是都是英文,我们看不懂,所以需要编辑社,将文章翻译成其他语言,这样就可以完成英语与其他语言的交流。作用:1、服务之间进行解耦,才可以减少服务之间的影响。提高系统整体的稳定性以及可扩展性。2、另外,解耦后可以实现数据分发。生产者发送一个消息后,可以由一个或者多个消费者进行消费,并且消费者的增加或者减少对生产者没有影响。
  • 削峰例子:长江每年都会涨水,但是下游出水口的速度是基本稳定的,所以会涨水。引入三峡大坝后,可以把水储存起来,下游慢慢排水。作用:以稳定的系统资源应对突发的流量冲击。

2、MQ的优缺点

上面MQ的所用也就是使用MQ的优点。 但是引入MQ也是有他的缺点的:
  • 系统可用性降低

系统引入的外部依赖增多,系统的稳定性就会变差。一旦MQ宕机,对业务会产生影响。这就需要考虑如何保证MQ的高可用。

  • 系统复杂度提高

引入MQ后系统的复杂度会大大提高。以前服务之间可以进行同步的服务调用,引入MQ后,会变为异步调用,数据的链路就会变得更复杂。并且还会带来其他一些问题。比如:如何保证消费不会丢失?不会被重复调用?怎么保证消息的顺序性等问题。

  • 消息一致性问题

A系统处理完业务,通过MQ发送消息给B、C系统进行后续的业务处理。如果B系统处理成功,C系统处理失败怎么办?这就需要考虑如何保证消息数据处理的一致性。

3、几大MQ产品特点比较

常用的MQ产品包括Kafka、RabbitMQ和RocketMQ。我们对这三个产品做下简单的比较,重点需要理解他们的适用场景。

MQ产品比较.png
另外,关于这三大产品更详细的比较
​

1、RocketMQ

淘宝内部的交易系统使用了淘宝自主研发的 Notify 消息中间件,使用 Mysql 作为消息存储媒介,可
完全水平扩容,为了进一步降低成本,我们认为存储部分可以进一步优化,2011 年初,Linkin 开源
了 Kafka 这个优秀的消息中间件,淘宝中间件团队在对 Kafka 做过充分 Review 之后,Kafka 无限消
息堆积,高效的持久化速度吸引了我们,但是同时发现这个消息系统主要定位于日志传输,对于使用
在淘宝交易、订单、充值等场景下还有诸多特性不满足,为此我们重新用 Java 语言编写了 RocketMQ,
定位于非日志的可靠消息传输(日志场景也 OK),目前 RocketMQ 在阿里集团被广泛应用在订单,
交易,充值,流计算,消息推送,日志流式处理,binglog 分发等场景。
​

2、Kafka

Kafka 是 LinkedIn 开源的分布式发布-订阅消息系统,目前归属于 Apache 定级项目。Kafka 主要特
点是基于 Pull 的模式来处理消息消费,追求高吞吐量,一开始的目的就是用于日志收集和传输。0.8
版本开始支持复制,不支持事务,对消息的重复、丢失、错误没有严格要求,适合产生大量数据的互
联网服务的数据收集业务。

3、RabbitMQ

RabbitMQ 是使用 Erlang 语言开发的开源消息队列系统,基于 AMQP 协议来实现。AMQP 的主要特
征是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、安全。AMQP 协议更多用在企业
系统内,对数据一致性、稳定性和可靠性要求很高的场景,对性能和吞吐量的要求还在其次。

4、MQ性能测试对比

  1. Kafka 的吞吐量高达 17.3w/s,不愧是高吞吐量消息中间件的行业老大。这主要取决于它的队列模式
    保证了写磁盘的过程是线性 IO。此时 broker 磁盘 IO 已达瓶颈。
  2. RocketMQ 也表现不俗,吞吐量在 11.6w/s,磁盘 IO %util 已接近 100%。RocketMQ 的消息写入内
    存后即返回 ack,由单独的线程专门做刷盘的操作,所有的消息均是顺序写文件。
  3. RabbitMQ 的吞吐量 5.95w/s,CPU 资源消耗较高。它支持 AMQP 协议,实现非常重量级,为了保
    证消息的可靠性在吞吐量上做了取舍。我们还做了 RabbitMQ 在消息持久化场景下的性能测试,吞吐
    量在 2.6w/s 左右。

在服务端处理同步发送的性能上,Kafka>RocketMQ>RabbitMQ。
对比了最简单的小消息发送场景,Kafka 暂时胜出。但是,作为经受过历次双十一洗礼的RocketMQ,在
互联网应用场景中更有它优越的一面。

kafka vs rabbitmq vs rocketmq.png

🍊新媒体平台🍊:https://www.yuque.com/docs/share/7287f4ec-5569-47f0-99a0-6c07b1c1d763
文章总结以及面试题资料

一文详解七大主流消息队列(MQ):特性、应用场景与对比分析 总结来说,选择哪种MQ库取决于您的具体需求,如消息吞吐量、延迟要求、消息可靠性、顺序保证、事务支持、云平台集成、跨平台兼容性、易用性、运维成本等因素。由于MQ(Message Queue,消息队列)种类繁多,且每种MQ都有其独特的特性和应用场景,因此这里将为您提供对几种主流MQ库的详细讲解,从不同角度对比和分析它们的特点。:金融交易、订单处理、支付结算、数据同步、日志采集等对消息顺序和事务性有严格要求的场景。:适用于微服务间的异步通信、任务队列、事件驱动架构、跨系统的数据同步等。 阅读详情

相关推荐

深入解析消息队列(MQ):类型、区别及选型指南

在分布式系统架构中,消息队列扮演着"中间人"的角色,它解耦了消息的生产者和消费者,使系统各部分能够独立演化、扩展和维护。系统解耦:通过消息协议替代直接API调用,降低服务间耦合度。例如订单服务只需将订单状态变更事件投递到MQ,下游系统(物流、积分等)自行订阅处理异步处理:将非核心业务异步化,避免主流程阻塞。比如用户注册后发送验证邮件,可以异步执行而不影响注册响应速度流量削峰:作为缓冲区平滑突发流量,如秒杀活动时请求先写入MQ队列,后端服务按处理能力消费,避免系统过载崩溃此外,MQ还广泛应用于。

专注于编程、AI、人工智能等多个领域内容研究和分析 2506

常用MQ介绍与区别

RabbitMQ是实现的消息中间件的一种,由RabbitMQ Technologies Ltd开发并且提供商业支持的,最初起源于金融系统,服务器端用Erlang语言编写,用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗。

Wis57的博客 3844

STM32与K210串口通信

这篇文章是为了填上一篇埋下的坑,k210和STM32通过串口通信,我是采用数据包的形式发送数据的,因为K210发送的数据有几种,采用数据包的形式发送比较安全。本文代码运行的平台是STM32F103C8T6和K210 Dock,只涉及到K210发送数据给STM32,stm32将接受到的数据显示到0.96寸OLED屏上。

qq_70715693的博客 3万+

各大MQ产品比较

特性 ActiveMQ RabbitMQ RocketMQ Kafka producer-consumer 支持 支持 支持 支持 发布-订阅 支持 支持 支持 支持 API完备性 高 高 高 高 多语言支持 支持,Java优先 语言无关 只支持Java 支持,Java优先 单机吞吐量 万级 万级 万级 十万级 消息延迟 微秒级

weixin_68967484的博客 1503

华为AR3260路由器NAT回流配置实战:从WEB界面到命令行的完整避坑指南

本文详细解析了华为AR3260路由器NAT回流(Hairpin NAT)的配置原理与实战方法。针对内网用户无法通过公网地址访问内部服务器的常见问题,文章不仅剖析了WEB界面配置的常见报错原因,更提供了清晰、可靠且一劳永逸的命令行(CLI)配置方案与排错指南,帮助企业网络工程师彻底解决内外网访问不一致的难题。

u6v7w8x的博客 874

AI漫剧实战:MiniMaxH3本地部署+ComfyUI工作流,6G显存出长视频

随着AI视频生成技术的普及,创作者开始追求在有限硬件条件下的本地化部署。本地部署不仅降低使用成本,更能获得对生成流程的完全可控性,这为高频次的内容生产提供了基础。以开源工作流引擎ComfyUI为依托,通过量化模型与显存优化,即便是6G显存的中端显卡也能流畅运行MiniMaxH3视频生成模型,输出60秒级别的AI漫剧片段。本文从视频生成原理出发,讲解模型选择、节点搭建、参数调优与提示词结构化设计,并延伸到剧本拆分、角色一致性控制、后期合成及平台变现路径,为AI漫剧创作者提供一套低成本、可复制的工程化方案。无论

weixin_29051149的博客 164

几种常见的MQ总结对比

面试题 为什么使用消息队列? 消息队列有什么优点和缺点? Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别,以及适合哪些场景? 面试官心理分析 其实面试官主要是想看看: 第一,你知不知道你们系统里为什么要用消息队列这个东西? 不少候选人,说自己项目里用了 Redis、MQ,但是其实他并不知道自己为什么要用这个东西。其实说白了,就是为了用而用,或者是别人设计的架构,他从头到尾都没思考过。 没有对自己的架构问过为什么的人,一定是平时没有思考的人,面试官对这类候选人印象

anita9999的博客 2万+

保姆级QFIL线刷教程:从驱动安装到成功刷机的完整避坑指南(Win10/11实测)

本文提供了一份详细的QFIL线刷教程,涵盖从驱动安装到成功刷机的完整流程,特别针对Win10/11系统进行了实测。文章重点解决了EDL模式下的常见问题,如Download Fail和COM Port识别错误,并提供了实用的避坑技巧和故障排除方案,帮助用户实现零失误操作。

weixin_29245767的博客 767

MQ消息队列详解、四大MQ的优缺点分析

MQ消息队列详解 近期有了想跳槽的打算,所以自己想巩固一下自己的技术,想了解一些面试比较容易加分的项,近期准备深入研究一下redis和mq这两样,这总体上都是为了解决服务器并发的原因,刚翻到了一篇有关于mq的,觉得写得特别好,特此记录一下,也算是为了加深自己的印象。 首先从MQ容易面对的面试题切入一下 为什么要使用MQ 消息队列有什么优点和缺点 kafka、ActiveMQ、RabbitMQ、R...

光头强的博客 20万+

基于Dify1.9知识库流水线模板的思考——图像和表格数据处理

本文探讨了Dify1.9知识库流水线中LLM节点对文档图像/表格增强处理的优化方案。针对当前仅在内容后追加说明的简单做法,提出了结构化标注的改进方法:通过唯一ID和注释块标记图像/表格及其描述,确保内容可精准对齐。文章详细阐述了该方案的解析处理流程、数据结构化表示方法,以及在RAG检索和文档还原中的具体应用。关键经验包括:必须结构化标注非文本内容、LLM增强的必要性、语义向量化处理等。该方案解决了原始方法在内容重排、相似元素区分和检索精度等方面的问题。

roseey的专栏 1446

NVIDIA DRIVE SDK学习(二)——NvMedia

可以通过使用NvSciBuf API通过NvMedia Tensor属性分配NvSciBuf来创建NvMedia张量。由于NvSciBuf API有助于NvMedia和NVIDIA®CUDA®之间的数据共享,这使得分配的张量可以在NvSciBuf API允许的情况下重复使用。它支持图像聚合操作。NvSciSync组件使得NvMedia组件可以与其他组件保持同步,比如CUDA组件、基于NvSciSync的组件等。立体视差模式:在这种模式下,该模块通过左图像和右图像来产生立体视差,从而进行物体深度测量。

weixin_39592381的博客 3048

MQ消息队列的优缺点介绍以及对比选型

详细介绍了MQ消息队列的有点和缺点,以及MQ消息队列的选型。

终生学习践行者 6401

Windows环境下QGIS完整编译指南(从环境搭建到问题解决)

本文详细介绍了在Windows 11系统下编译QGIS 3.40.12版本的完整流程。主要内容包括:前期准备工作(系统要求、工具清单)、环境搭建(Visual Studio 2026、OSGeo4W、Qt Creator的安装配置)、以及详细的CMake参数设置。特别强调了依赖管理的重要性,并提供了解决常见编译错误的方案。该指南适用于GIS二次开发、QGIS功能定制和源码学习等场景,通过OSGeo4W工具简化了复杂的依赖管理过程,确保编译过程的可重复性。

LuckyHanMo的博客 1342

RocketMQ实战教程之几种MQ优缺点以及选型

当今市面上有很多主流的消息中间件,如老牌的ActiveMQRabbitMQ,炙手可热的Kafka,阿里巴巴自主开发RocketMQ等。

helloworld工程师的博客 880

【系统分析师】2026年-上半年真题:综合知识-答案及详解(75题完整回忆版)

系统分析师考试备考指南(2026上半年机考) 考试安排: 2026年5月23日举行,分三科连考: 综合知识+案例分析(08:30-12:30,240分钟) 论文(14:30-16:30,120分钟) 科目详情: 综合知识:75道单选(含5道英文题),满分75分,45分及格。 案例分析:5选3主观题,满分75分,45分及格。 论文:4选1论述题,满分75分,45分及格。 重点题型解析: 软件工程:结构化分析以数据字典为核心(题1)。 概率统计:独立事件概率计算(题2,三人解题概率≈0.9)。 数据库安全:DB

数据知道的博客 1895

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

MQ事务消息的优缺点分析

场景推荐方案理由高并发、大流量MQ事务消息吞吐量高,性能好业务库压力大MQ事务消息消息独立存储,减轻DB负担中小系统本地消息表简单可靠,够用就好网络不稳定本地消息表减少网络依赖MQ经验不足本地消息表避免回查接口的坑MQ事务消息用两次网络请求和回查接口的复杂度,换来了更高的吞吐量和更好的解耦,是高并发场景下的不二之选。

✨ 欢迎来到【Seal ^_^ 的优快云博客】!✨ 4008

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

MQ理论介绍与主流MQ对比

MQ 是message queue ,消息队列,也叫消息中间件,遵守JMS(java message service)规范的一种软件。(同时还有另一个叫AMQP的应用层协议,语言无关性不受产品 语言等限制,rabbitMQ支持这个 )类似于数据库一样需要独立部署在服务器上的一种应用,提供接口给其他系统调用。主要用于各个系统之间通信的解耦。举例:比如登陆系统,在登陆之后需要调用短信系统给用户发短信说已经登陆,同时还需要调用日志系统记录登陆日志,需要调用积分系统对登陆签到的积分进行增加 等等。

JemeryShen的专栏 3322

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

常见主流MQ之间的对比

今天梳理一下一些主流MQ的优缺点,我们用表格对比一下: 特性 ActiveMq RabbitMq RocketMQ Kafka 成熟度 成熟 成熟 比较成熟 成熟的日志领域 时效性 微秒级 毫秒级 毫秒级 社区活跃度 低 高 高 高 单机吞吐量 万级,吞吐量比RocketMQ和Kafka要低了一个数量级 万级,吞吐量比RocketMQ和Kafka要低了一个数量级 10...

下雨天_不打伞的博客 6522

【java】spring中事件机制以及与MQ对比

Spring 事件机制是观察者模式的一种实现,支持事件的发布和订阅,解耦组件之间的逻辑。Spring 事件机制简单易用,适合单体应用内部的轻量级事件处理。更适合解耦应用内部的模块之间的业务逻辑。消息队列(MQ)功能强大,适合分布式、高并发和高可靠性场景。更适合跨系统通信、大规模消息传递以及严格的事务需求。选择使用哪种机制,应根据实际的业务场景需求进行权衡。

Nanki_的博客 1815

详细说说对MQ消息队列的理解以及主流MQ的优缺点

1. 为什么要使用MQ2. 消息队列的优缺点3. 四大主流MQ(kafka、ActiveMQ、RabbitMQ、RocketMQ)各自的优缺点 1. 为什么要使用MQ MQ常见的使用场景有很多,比较核心的是解耦,异步,削峰。 系统解耦: 首先举例下面这个场景,现有ABCDE五个系统,最初的时候BCD三个系统都要调用A系统的接口获取数据,一切都很正常,但是突然,D系统说:我不要了,你不用给我传数据了,A系统无奈,只能修改代码,将调用D系统的代码删除,这时候还没删除呢,E系统发送了请求,但是A系统这时候还没处.

weixin_44226752的博客 1840

MQ面试必问系列 - MQ的引用场景以及MQ的优缺点

有关MQ的面试题 - MQ的引用场景以及MQ的优缺点 项目中为什么要用MQ?通过调用接口也可以实现啊? 面试官的考察点 主要考察的知识点是MQ的使用场景。 期望面试者回答的是:哪个业务遇到了什么技术难点,如果不使用MQ的话有哪些问题?通过使用MQ解决了什么问题? MQ的使用场景 使用场景很多总体可以概述为三大点:解耦,异步,削峰 解耦: 顾名思义就是接触项目之间的耦合程度,如下图所示: ...

微信公众号《后端学长》 1878

几种消息队列的对比以及优缺点

优点主要三条:缺点主要三点:Rocketmq和KafKa类似(实质上,最早的Rocketmq 就是KafKa 的Java版本),一条消息从生产到被消费,将会经历三个阶段:

weixin_45767204的博客 850

详解MQ消息队列及四大主流MQ的优缺点

近期有了想跳槽的打算,所以自己想巩固一下自己的技术,想了解一些面试比较容易加分的项,近期准备深入研究一下Redis和MQ这两样,这总体上都是为了解决服务器并发的原因,刚翻到了一篇有关于MQ的,觉得写得特别好,特此记录一下,也算是为了加深自己的印象。

Owen的博客 2199
上一篇: 【Redis】
下一篇: 【Kafka】
Java程序员廖志伟
Java程序员廖志伟 优质创作者: Java技术领域 优质创作者: Java技术领域 领域专家: 后端开发技术领域 领域专家: 后端开发技术领域
博客等级 码龄8年 2万+粉丝 1902原创
评论 13
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Java程序员廖志伟

赏我包辣条呗

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值