使用消息队列有什么好处呢

【消息队列:优势、劣势与应用】 消息队列是一种在应用程序之间传递消息的通信方式。它将消息发送方(生产者)和消息接收方(消费者)解耦,使得它们可以独立工作。消息通常以异步的方式传递,这意味着生产者不需要等待消费者立即处理消息。消息队列是现代分布式系统中不可或缺的一部分,它提供了异步通信、解耦、削峰填谷等优势。但同时,它也增加了系统的复杂性,可能引入延迟和一致性问题。为了确保消息消费的幂等性,需要采取特殊策略。在选择消息队列时,需要根据具体的需求和场景来决定使用哪种路由模型。 阅读详情

消息队列是什么


也许你经常听说"消息队列"这个词,但是并没有真正用过它。它在系统架构中担任着非常重要的角色。那"消息队列"到底是个什么样的东西呢?今天我就来给大家聊聊"消息队列"这个技术。

从字面上分析,首先它有一个队列,其次这个队列里存放的是消息。那队列又是个什么鬼?不要想得太复杂,队列就是一个可以存储数据的"容器",里面你可以存数字、也可以存字符串。

而"消息队列"就是一种专门存放消息数据的一种中间件服务。这个消息其实就是一条一条的数据对象,比如它可以是一个文件路径,也可以是一条订单的信息。

为什么要使用消息队列


在给出答案之前,我先讲一个小例子。

一个小作坊工厂有一道工序,需要给瓶子拧盖子然后贴商标。工人小A擅长拧盖子,工人小B擅长贴商标,所以此道工序由小A和小B配合完成。

一开始小A拧完盖子后交给小B再去贴商标,如果小A已经拧完盖子交给小B时,小B还在贴商标,那么此时小A只能等着小B,只有小B上一次的贴商标动作完成后,小A才能把这次的瓶子交给小B,然后继续拧下一个。

这种配合需要小A和小B的工作节奏完全一致才能不会浪费时间。

老板大黄很聪明,他做了一个可以自动旋转的瓶子架,圆盘形状,最多可以同时放10个瓶子,小A和小B分别坐在圆盘的相对面,他要求让小A拧完盖子后将瓶子放到架子上,然后小B再从架子上去拿小A已经拧完的瓶子。

这样做,就不用担心小A比小B快的问题了,那反过来如果小B比小A快,那就需要先让小B休息一会,让小A先多拧几个瓶子,小B再开始工作。

这样一番操作,大黄发现效率并没有提升,只是把小A或者小B休息的时间延长了。此时老板的解决方法是,如果小A比小B快,则当小A将10个瓶盖子都拧完时,先帮着小B贴标签,反之,小B帮小A拧盖子。

结合这个案例,那么消息队列其实就是大黄设计的自动旋转瓶子架,我们可以把消息放在消息队列中(拧完盖子后放到架子上),当需要消息时,再从消息队列中取出消息处理(小B拿拧完盖子的瓶子去贴商标)。

消息队列是分布式系统中的重要组件,使用消息队列主要是为了通过异步处理提高系统性能和削峰、降低系统的耦合性。

场景1:解耦

所谓解耦,就是将一个事务的多个动作进行拆分,就比如上例中,本来一道工序包括了拧瓶盖(A)和贴商标(B),一开始两个动作是耦合在一起的,耦合在一起意味着A慢或者B慢都会影响到整个工序的效率。那么现在将A和B拆分,A可以只关注拧瓶盖,拧完放到架子上(消息队列里),而B只需要从架子上(消息队列里)去拿即可。只要这个架子容量足够大,那么A和B都不会被对方影响。

再回到消息队列,A和B分别为两个模块,A模块有一个消息生产者,B模块有一个消息消费者。A和B两个模块就是由这个消息队列来完成的解耦合。

场景2:异步

异步,就是要将本来串联的多个操作拆分开,让它们不再相互等待。比如,上例中,A拧完瓶盖不需要等着B是否空闲,他只管拧瓶盖,然后将已经拧好瓶盖的瓶子放到架子上即可,而B也只管从架子上去拿拧好瓶盖的瓶子来贴商标,A和B就是异步的,异步的实现要借助这个消息队列。

再举个实际的例子,一个审计系统,需要将手机客户端上的图片、音频、视频上传到服务器上进行审核,这个过程中有一个步骤是需要将视频、音频进行转码的,转码的目的是为了让多媒体文件更小,让浏览器可以直接播放。上传音频和视频的操作非常频繁并且量很大,如果每上传一个文件就直接转码,那么这不仅会消耗服务器资源,还会直接降低了服务器处理速度。所以,我们的做法是,让它异步。上传和转码分开,不串行,甚至可以让某一台服务器单独处理转码的操作。那么这个实现就需要借助消息队列,把转码任务以及转码关键参数放到消息队列里,而转码服务器再去通过从消息队列里取这些信息从而再去转码。当然,之所以设计为异步有一个前提条件,就是这个转码的操作并不是很紧迫,不需要一上传文件就马上转码。

场景3:削峰

依然是上面的例子,有一天老板大黄接了很多订单,所以他号召一家老小都来工作,但是大家对贴商标不怎么在行,都去拧瓶盖了,所以一上午的时间一下子拧了1w个瓶盖,并放到架子上(假设老板搞了一个非常大的架子)如果按正常工序,肯定需要很多贴商标的人,才能快速消化掉这1w个拧好瓶盖的瓶子,但老板没有那么多员工。最终,只能是让贴商标的工人多加会儿班慢慢消化这些瓶子。

现实生产环境中,这个非常大的架子就是消息队列服务,它可以应对突发情况,可以将突然陡增的业务需求先暂时放到消息队列里,然后再慢慢地消费(处理),这就是削峰。12306的抢票就是这种场景。

结论


消息队列是一个大型分布式架构中不可或缺的组件,它的存在可以让我们的系统支持更大的并发,提高了系统响应速度,使我们的系统更加稳定可靠。总之,引入消息队列组件是利大于弊的。

那么常见的消息队列中间件都有哪些呢?请大家关注我的公众号,后续会一一介绍。

MQ消息队列的好处,作用,以及缺点 MQ消息队列的好处,作用,以及缺点 初学者的举例说明:当众多用户买了快递,蜂巢快递柜把各个渠道的快递(顺丰,圆通,申通..)都存储起来,等用户下班了,有时间去取时,就去蜂巢快递柜拿即可 阅读详情

相关推荐

Unity+ARFoundation 探坑之路

前两天想要上手Unity来AR方面的项目东东 ,探索过程中出现了各种各样的问题,现在将这个过程中遇到的各种各样问题梳理一下,希望后来者能开开心心上手Unity+AR。 注意:这是一篇踩坑博客,具体搭建还请自行百度。 一、ARFoundation or ARCore or ARKit Unity作为一个平台,不直接提供XR(包括VR、AR和MR)的开发包,这时就需要其他公司提供各种各样的SDK工具包...

qq_43575926的博客 7137

MQ系列8:数据存储,消息队列的高可用保障

在之前的章节中,我们介绍了消息的发送 和 消息通信 的原理。但是这边有一个比较核心的关键点,那就是如果已经把消息传递给Broker。在Broker在被消费之前,如何保证消息的稳定性,避免消息丢失和数据。这时候就需要数据持久化数据来进行保障了。根据之前我们MQ系列2:消息中间件的技术选型章节做的分析,RabbitMQ支持 1W+ 级别的吞吐,Kafka 和 Rocket 支持 10W+ 级别的吞吐,想要实现这么大的吞吐,必须具备一个很强悍的存储功能。下面我们来看看。

sinat_40572875的博客 657

企业级防火墙实战:用深信服AF8.0打造安全办公网络(含流控/僵尸防护配置)

本文详细介绍了如何利用深信服AF8.0防火墙构建企业级安全办公网络,涵盖设备初始化、多接入方式配置、三维一体安全防护体系(包括应用控制、僵尸防护和智能流控)以及典型问题排查。通过实战案例和配置模板,帮助IT管理员高效部署和优化网络安全管理,提升企业网络安全防护能力。

weixin_28716443的博客 283

为什么需要消息队列,及使用消息队列的好处?

一、消息队列的特性业务无关,一个具有普适性质的消息队列组件不需要考虑上层的业务模型,只做好消息的分发就可以了,上层业务的不同模块反而需要依赖消息队列所定义的规范进行通信。FIFO,先投递先到达的保证是一个消息队列和一个buffer的本质区别。容灾,对于普适的消息队列组件来说,节点的动态增删和消息的持久化,都是支持其容灾能力的重要基本特性。当然,这个特性对于游戏服务器中大部分应用中的消息队列来说不是必

愿世界和平 2万+

Latex | IEEE双栏排版中长公式的排版

IEEE双栏排版中,有时候公式过于长了,过宽,导致单栏排版不下。

qq_43466146的博客 1万+

保姆级教程:在RK3588开发板上驱动多路MIPI摄像头(从VICAP配置到ISP调优)

本文详细介绍了在RK3588开发板上驱动多路MIPI摄像头的完整流程,从VICAP配置到ISP调优的全方位解析。通过硬件架构分析、开发环境搭建、设备树配置、V4L2数据采集以及ISP图像调优等步骤,帮助开发者高效实现多路摄像头驱动,适用于工业检测和智能安防等领域。

weixin_42552315的博客 390

消息队列RabbitMQ

一、使用消息队列的好处 1、通过异步处理可以提高系统性能(削峰,改善响应速度) 不使用消息队列时,用户数据直接写入数据库,在高并发情况下数据压力剧增,响应速度变慢; 使用消息队列后,用户将数据发送给消息队列后会立即返回,再由消费队列的消费者进程从队列中获取数据,异步写入数据库。 消息队列的服务器处理速度快于数据库,所以可以改善响应速度,提高系统性能。 2、降低系统耦合性 模块之间不直接调用,新增...

yh_1021的博客 545

PSM-DID实战指南:Stata代码解析与案例应用

本文详细解析PSM-DID方法在Stata中的实战应用,从理论到代码实现全面覆盖。通过倾向得分匹配(PSM)和双重差分(DID)的结合,有效解决政策评估中的选择偏差问题。文章提供完整的Stata命令代码、样例数据处理技巧和案例应用,帮助研究者准确评估政策效果。

vulkan6gpu的博客 795

彻底理解消息队列的作用及如何选择

1)RabbitMQ 于 2007 年发布,是使用 Erlang 编程语言编写的,最早是为电信行业系统之间的可靠通信设计的,也是少数几个支持 AMQP 协议的消息队列之一;2)RabbitMQ 的轻量级、迅捷是它的宣传口号,也很明确地表明了 RabbitMQ 的特点:Messaging that just works,开箱即用的消息队列,也就是说,RabbitMQ 是一个相当轻量级的消息队列,非常容器部署和使用;3)RabbitMQ 的客户端支持的编程语言大概是所有消息队列中最多的。

BestandW1shEs_lsy的博客 1174

51单片机独立按键控制LED(二)

对于机械开关,当机械触点断开、闭合时,由于机械触点的弹性作用,一个开关在闭合时不会马上稳定地接通,在断开时也不会一下子断开,所以在开关闭合及断开的瞬间会伴随一连串的抖动。独立按键控制LED显示二进制。独立按键控制LED灯亮灭。独立按键控制LED状态。独立按键控制LED移位。

m0_50562428的博客 5387

Apache NiFi新手必看:从零开始的数据流设计入门教程(含实战案例)

本文为Apache NiFi新手提供从零开始的数据流设计入门指南。通过实战案例,详细讲解了如何利用这一强大的数据采集工具,以可视化拖拽方式构建自动化数据流,实现从文件监控、内容处理到数据入库的全流程,并涵盖核心概念、环境搭建及生产环境调优要点。

weixin_29066781的博客 150

为什么需要消息队列?使用消息队列有什么好处?

一、消息队列的特性 二、为什么需要消息队列? 三、使用消息队列有什么好处? 四、为什么需要分布式? 五、分布式环境下需要解决哪些问题? 六、如何实现? 七、常见消息队列对比和选型 《Netty 实现原理与源码解析 —— 精品合集》 《Spring 实现原理与源码解析 —— 精品合集》 《MyBatis 实现原理与源码解析 —— 精品合集》 《Spring MVC 实现原理与源码解析 —— 精品合集》 《Spring Boot 实现原理与源码解析 —— 精品合集》 《数据库实体设计.

学习一定要有针对性的练习-实操! 504

【数据集】未来不同情景下预测数据:如人口、土地利用等

未来不同情景下预测数据:如人口、土地利用等

WW、forever的博客 2997

22面试常问:为什么需要消息队列?使用消息队列有什么好处?

目录 一、消息队列的特性 二、为什么需要消息队列? 三、使用消息队列有什么好处? 四、为什么需要分布式? 五、分布式环境下需要解决哪些问题? 六、如何实现? 七、常见消息队列对比和选型 一、消息队列的特性 业务无关,一个具有普适性质的消息队列组件不需要考虑上层的业务模型,只做好消息的分发就可以了,上层业务的不同模块反而需要依赖消息队列所定义的规范进行通信。 FIFO,先投递先到达的保证是一个消息队列和一个buffer的本质区别。 容灾,对于普适的消息队列组件来说,节点的动态增删和消息...

AI乔治 499

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

面试官问:为什么需要消息队列?使用消息队列有什么好处?

目录 一、消息队列的特性 二、为什么需要消息队列? 三、使用消息队列有什么好处? 四、为什么需要分布式? 五、分布式环境下需要解决哪些问题? 六、如何实现? 七、常见消息队列对比和选型 一、消息队列的特性 业务无关,一个具有普适性质的消息队列组件不需要考虑上层的业务模型,只做好消息的分发就可以了,上层业务的不同模块反而需要依赖消息队列所定义的规范进行通信。 FIFO,先投递先到达的保证是一个消息队列和一个buffer的本质区别。 容灾,对于普适的消息队列组件来说,节点的动态增删和消息的持久化,

热衷技术的Java程序员 774

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

消息队列的好处

消息队列的好处: 最关键的是解耦和削峰 1.解耦 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。 2.可恢复性 系统的一部分组件失效时,不会影响到整个系统。消息队列降低了进程间的耦合度, 所以即使一个处理消息的进程挂掉,加入队列中的消息仍然可以在系统恢复被处理。 3.缓冲 有助于控制和优化数据流经过系统的速度,解决生产消息和消费消息的处理速度不一致 的情况。 4.灵活度和峰值处理能力 在访问量剧增的情况下,应用仍然需要继续发挥作用,但是这样的突发流量并不常见。 如果为以能处理这类峰值

hgfhjtff的博客 1238

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

MQ消息队列的好处

它的优势是什么? 异步有两个优势: 1)对用户来说,比同步时更加快捷,用户体验非常好。(让用户以为自己抢到了,欺骗ing   ) 2)对系统访问压力来说,异步因为没有没有真正执行,不会造成某时刻对系统的访问压力剧增。而是放入队列, 不一定慢啊,不会慢。然后慢慢的队列一条一条执行。可以顺利执行 代码的耦合度是很强的,依赖性。代码耦合度,紧耦合,httpClient方式很强。依赖性。 两个

白兔白又白 7922

使用消息队列的好处

解耦 ​ 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。 可恢复性 ​ 系统的一部分组件失效时,不会影响到整个系统。消息队列降低了进程间的耦合度,所以即使一个处理消息的进程挂掉,加入队列中的消息仍然可以在系统恢复后被处理。 缓冲 ​ 有助于控制和优化数据流经过系统的速度,解决生产消息和消费消息的处理速度不一致的情况。 灵活性 & 峰值处理能力 ​ 在访问量剧增的情况下,应用仍然需要继续发挥作用,但是这样的突发流量并不常见。如果为以能处理这类峰值访问为标准来投入资源随时

qq_30072161的博客 397

22. 为什么需要消息队列?使用消息队列有什么好处?

为什么需要消息队列?使用消息队列有什么好处?

优快云全栈领域优秀博主,阿里云博客专家,工信部权威认证物联网技术开发工程师,曾30分钟高分通过C语言二级,两天手撸代码完成EasyX飞机大战,靠接软件私活一个月换苹果电脑 824

【008】为什么需要消息队列?使用消息队列有什么好处?

>>号外:往期面试题,每10篇为一个单位归置到本公众号菜单栏->聚合->面试专题,有需要的欢迎翻阅。一、消息队列的特性二、为什么需要消息队列?三、使用消息队列有什...

Java精选 506
上一篇: Redis哨兵模式
下一篇: 一文搞懂Redis持久化
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值