为什么需要消息队列?使用消息队列有什么好处?

php队列的实现思路和过程 一:队列场景 当我们使用某讯或者某浪的邮箱时,点击群发邮件之后,只需等待很短的时间,浏览器 提示提交成功,正在发送之类的信息时,用户就可以关掉浏览器,稍后,收件地址栏里的邮箱将陆续收到该群发邮件,再比如群发定时邮件,以及当商城系统中有客 户下单,客户,客服,仓库等相关人员收到订单邮件信息。诸如此类,队列的应用范围是如此之广。 二:普通工程师的解决方案和架构师的解决方案 方案1:建表存邮件,消息等,用定时程序取出发送。 方案2:抽象到更高一层,开发一套通用异步处理队列适用于任何复杂的业务逻辑 那么,作为架构师 阅读详情

点击上方“芋道源码”,选择“设为星标”

做积极的人,而不是积极废人!

源码精品专栏

 

来源:http://t.cn/EogJKg4

  • 一、消息队列的特性

  • 二、为什么需要消息队列?

  • 三、使用消息队列有什么好处?

  • 四、为什么需要分布式?

  • 五、分布式环境下需要解决哪些问题?

  • 六、如何实现?

  • 七、常见消息队列对比和选型


一、消息队列的特性

业务无关,一个具有普适性质的消息队列组件不需要考虑上层的业务模型,只做好消息的分发就可以了,上层业务的不同模块反而需要依赖消息队列所定义的规范进行通信。

FIFO,先投递先到达的保证是一个消息队列和一个buffer的本质区别。

容灾,对于普适的消息队列组件来说,节点的动态增删和消息的持久化,都是支持其容灾能力的重要基本特性。当然,这个特性对于游戏服务器中大部分应用中的消息队列来说不是必须的,这个也是跟应用情景有关的,很多时候没有这种持久化的需求。

性能,这个不必多说了,消息队列的吞吐量上去了,整个系统的内部通信效率也会有提高。

二、为什么需要消息队列?

当系统中出现“生产“和“消费“的速度或稳定性等因素不一致的时候,就需要消息队列,作为抽象层,弥合双方的差异。“ 消息 ”是在两台计算机间传送的数据单位。消息可以非常简单,例如只包含文本字符串;也可以更复杂,可能包含嵌入对象。消息被发送到队列中,“ 消息队列 ”是在消息的传输过程中保存消息的容器 。

举几个例子

1)业务系统触发短信发送申请,但短信发送模块速度跟不上,需要将来不及处理的消息暂存一下,缓冲压力。就可以把短信发送申请丢到消息队列,直接返回用户成功,短信发送模块再可以慢慢去消息队列中取消息进行处理。

2)调远程系统下订单成本较高,且因为网络等因素,不稳定,攒一批一起发送。

3)任务处理类的系统,先把用户发起的任务请求接收过来存到消息队列中,然后后端开启多个应用程序从队列中取任务进行处理。

三、使用消息队列有什么好处?

3.1、提高系统响应速度

使用了消息队列,生产者一方,把消息往队列里一扔,就可以立马返回,响应用户了。无需等待处理结果。

处理结果可以让用户稍后自己来取,如医院取化验单。也可以让生产者订阅(如:留下手机号码或让生产者实现listener接口、加入监听队列),有结果了通知。获得约定将结果放在某处,无需通知。

3.2、提高系统稳定性

考虑电商系统下订单,发送数据给生产系统的情况。电商系统和生产系统之间的网络有可能掉线,生产系统可能会因维护等原因暂停服务。如果不使用消息队列,电商系统数据发布出去,顾客无法下单,影响业务开展。两个系统间不应该如此紧密耦合。应该通过消息队列解耦。同时让系统更健壮、稳定。

异步化、解耦、消除峰值

以上三点其实可以用一个例子来解释——设想有一款MMO游戏,没有人肉写的缓存层或者ORM,所有逻辑节点都直连MySQL,逻辑节点内除了要关注场景、战斗、交互等复杂逻辑以外,还要有个拼SQL语句的模块,想想简直是蛋疼。先考虑一下这样设计的弊端所在:

  1. 逻辑节点与Db的交互会有大量IO,即使把与Db交互的模块耦合在逻辑节点内,其实现对你来说是黑盒,如果内部是同步实现的,那就直接卡你游戏主逻辑,就因为一次存盘操作,玩家们都掉线了,服务器也可以关掉了。

  2. 那么我们改进一下,针对1的情况,可以把这个模块做到一个线程里挂在逻辑节点上。这样其实逻辑节点跟这个Db前端模块的交互就会基于一个比较原始的消息队列。但是这样还有一个坏处,那就是这两种任务一种是计算密集的(玩家的逻辑处理)、一种是IO密集的(只负责写入读取MySQL),搞到一个节点中,扩展起来会非常麻烦,而且耦合度太高。比如说现在发现场景放单节点上有瓶颈,要按场景分节点,那么这种挂在上面的数据模块怎么跟其他场景的交互呢?

  3. 峰值的问题。在分布式系统中,一次分布式事务关联的是多个节点,其中每一个节点出现问题都会成为整个事务处理流程中的瓶颈。如果逻辑节点与数据库之间没有一个起到缓冲作用的节点,那就是每次操作都要访问数据库,对于MMO来说,一个玩家上线load几百K数据,一个服10万个玩家上线已经足够搞垮一个mysql节点了。如果直接搞垮还是比较好的结果,至少是前面的玩家确实登录上去了并且可以正常游戏,后面的玩家登录不上。但是很可惜,十年前开始流行的C10K说法就是在讲:并发量上来之后,会造成chain reaction,大量的并发不会直接挂掉你的mysql节点,但是会拖慢速度,降低吞吐量,一个玩家的请求由于处理时间太长,导致玩家放弃重试,但是对于后端来说,对该玩家之前的处理过程消耗的资源就全部浪费了,陷入恶性循环。

所以,这种情景下,一个介于逻辑节点和db节点之间的缓存节点就是理所当然的事情了。这个缓存节点其实很多时候也可以看作是一个更复杂的消息队列节点。

四、为什么需要分布式?

4.1、多系统协作需要分布式

消息队列中的数据需要在多个系统间共享数据才能发挥价值。所以必须提供分布式通信机制、协同机制。

4.2、单系统内部署环境需要分布式

单系统内部,为了更好的性能、为了避免单点故障,多为集群环境。集群环境中,应用运行在多台服务器的多个JVM中;数据也保存在各种类型的数据库或非数据库的多个节点上。为了满足多节点协作需要,需要提供分布式的解决方案。

五、分布式环境下需要解决哪些问题?

5.1、并发问题

需进行良好的并发控制。确保“线程安全“。不要出现一个订单被出货两次。不要出现顾客A下的单,发货发给了顾客B等情况。

5.2、简单的、统一的操作机制

需定义简单的,语义明确的,业务无关的,恰当稳妥的统一的访问方式。

5.3、容错

控制好单点故障,确保数据安全。

5.4、可横向扩展

可便捷扩容。

六、如何实现?

成熟的消息队列中间件产品太多了,族繁不及备载。成熟产品经过验证,接口规范,可扩展性强。

结合事业环境因素、组织过程遗产、实施运维考虑、技术路线考虑、开发人员情况等原因综合考虑。

七、常见消息队列对比和选型

功能消息队列 RocketMQApache RocketMQ (开源)消息队列 KafkaApache Kafka (开源)RabbitMQ (开源)
安全防护支持不支持支持不支持支持
主子账号支持支持不支持支持不支持不支持
可靠性- 同步刷盘 - 同步双写 - 超3份数据副本 - 99.99999999%- 同步刷盘- 异步刷盘- 同步刷盘 - 同步双写 - 超3份数据副本 - 99.99999999%异步刷盘,丢数据概率高同步刷盘
可用性- 非常好,99.95% - Always Writable好- 非常好,99.95% - Always Writable好好
横向扩展能力- 支持平滑扩展 - 支持百万级 QPS支持- 支持平滑扩展 - 支持百万级 QPS支持- 集群扩容依赖前端- LVS 负载均衡调度
Low Latency支持不支持支持不支持不支持
消费模型Push / PullPush / PullPush / PullPullPush / Pull
定时消息支持(可精确到秒级)支持(只支持18个固定 Level)暂不支持不支持支持
事务消息支持不支持不支持不支持不支持
顺序消息支持支持暂不支持支持不支持
全链路消息轨迹支持不支持暂不支持不支持不支持
消息堆积能力百亿级别 不影响性能百亿级别 影响性能百亿级别 不影响性能影响性能影响性能
消息堆积查询支持支持支持不支持不支持
消息回溯支持支持支持不支持不支持
消息重试支持支持暂不支持不支持支持
死信队列支持支持不支持不支持支持
性能(常规)非常好 百万级 QPS非常好 十万级 QPS非常好 百万级 QPS非常好 百万级 QPS一般 万级 QPS
性能(万级 Topic 场景)非常好 百万级 QPS非常好 十万级 QPS非常好 百万级 QPS低低
性能(海量消息堆积场景)非常好 百万级 QPS非常好十万级 QPS非常好 百万级 QPS低低



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

已在知识星球更新源码解析如下:

如果你喜欢这篇文章,喜欢,转发。

生活很美好,明天见(。・ω・。)ノ♡

【消息队列:优势、劣势与应用】 消息队列是一种在应用程序之间传递消息的通信方式。它将消息发送方(生产者)和消息接收方(消费者)解耦,使得它们可以独立工作。消息通常以异步的方式传递,这意味着生产者不需要等待消费者立即处理消息。消息队列是现代分布式系统中不可或缺的一部分,它提供了异步通信、解耦、削峰填谷等优势。但同时,它也增加了系统的复杂性,可能引入延迟和一致性问题。为了确保消息消费的幂等性,需要采取特殊策略。在选择消息队列时,需要根据具体的需求和场景来决定使用哪种路由模型。 阅读详情

相关推荐

MQ消息队列的好处,作用,以及缺点

MQ消息队列的好处,作用,以及缺点 初学者的举例说明:当众多用户买了快递,蜂巢快递柜把各个渠道的快递(顺丰,圆通,申通..)都存储起来,等用户下班了,有时间去取时,就去蜂巢快递柜拿即可

QQQQQQQQYY的博客 1473

为什么需要消息队列,及使用消息队列的好处?

一、消息队列的特性业务无关,一个具有普适性质的消息队列组件不需要考虑上层的业务模型,只做好消息的分发就可以了,上层业务的不同模块反而需要依赖消息队列所定义的规范进行通信。FIFO,先投递先到达的保证是一个消息队列和一个buffer的本质区别。容灾,对于普适的消息队列组件来说,节点的动态增删和消息的持久化,都是支持其容灾能力的重要基本特性。当然,这个特性对于游戏服务器中大部分应用中的消息队列来说不是必

愿世界和平 2万+

为什么使用消息队列? 消息队列有什么优点和缺点?

问题 为什么使用消息队列? 消息队列有什么优点和缺点? Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别,以及适合哪些场景? 分析 第一,你知不知道你们系统里为什么要用消息队列这个东西? 不少候选人,说自己项目里用了 Redis、MQ,但是其实他并不知道自己为什么要用这个东西。其实说白了,就是为了用而用,或者是别人设计的架构,他从头到尾都没思考过。 没有对自己的架构问过为什么的人,一定是平时没有思考的人,面试官对这类候选人印象通常很不好。因为面试官担心你进了团队之后只会木头

1080

消息队列的好处

消息队列的好处: 最关键的是解耦和削峰 1.解耦 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。 2.可恢复性 系统的一部分组件失效时,不会影响到整个系统。消息队列降低了进程间的耦合度, 所以即使一个处理消息的进程挂掉,加入队列中的消息仍然可以在系统恢复被处理。 3.缓冲 有助于控制和优化数据流经过系统的速度,解决生产消息和消费消息的处理速度不一致 的情况。 4.灵活度和峰值处理能力 在访问量剧增的情况下,应用仍然需要继续发挥作用,但是这样的突发流量并不常见。 如果为以能处理这类峰值

hgfhjtff的博客 1238

rockchip rk3566 android11 网口log报错: DMA engine initialization failed

问题描述:上电初始化前将网口插入,然后上电初始化网口能够正常使用,且能够找到PHY,ifconfig 查看能够有eth0 产生,网口正常使用且能够热插拔,但上电初始化时,不插入网口,就会报DMA engine initialization failed 错误,DMA 初始化的时候出错了。 分析:一般产生这个问题可以认为是GMAC 的工作时钟出问题了。先测量时钟引脚是否有时钟,时钟频率以及幅度等指标是否正常,主要确认以下几个方面: 1.IOMUX 出错,检查时钟脚寄存器值是否正确。 2.时钟方向以及配置

qq_48709036的博客 2万+

张量分解浅谈(四 Tucker 分解)

学完了SVD算法之后,我们继续回到张量几大分解的学习上来,本期学习的主要内容是张量的 Tucker 分解 以及 前面的CP分解还留下一点没有说完,正好一并补齐!后面的公式我将采用颜色标记,红色代表必须掌握,蓝色尽量掌握! 在这之前先附一张图,包含了各种运算符号的名称含义,大部分是前面说过或者使用过的: Tensor decomposition一 . Tucker 分解公式介绍和原理二 . 张量的 n-Rank 一 . Tucker 分解公式介绍和原理 我们先来看一张被使用过很多次的Trucker 分解图

欢迎来到 豪哥 的博客 1万+

22面试常问:为什么需要消息队列?使用消息队列有什么好处?

目录 一、消息队列的特性 二、为什么需要消息队列? 三、使用消息队列有什么好处? 四、为什么需要分布式? 五、分布式环境下需要解决哪些问题? 六、如何实现? 七、常见消息队列对比和选型 一、消息队列的特性 业务无关,一个具有普适性质的消息队列组件不需要考虑上层的业务模型,只做好消息的分发就可以了,上层业务的不同模块反而需要依赖消息队列所定义的规范进行通信。 FIFO,先投递先到达的保证是一个消息队列和一个buffer的本质区别。 容灾,对于普适的消息队列组件来说,节点的动态增删和消息...

AI乔治 499

超临界二氧化碳再热再压缩布雷顿循环建模与先进控制

超临界二氧化碳布雷顿循环建模与先进控制研究 本文研究了超临界二氧化碳再热再压缩布雷顿循环系统的建模与控制。通过MATLAB/Simscape构建了包含压缩机、透平、回热器等关键组件的动态模型,并设计了基于模型预测控制(MPC)和自抗扰控制(ADRC)的多层控制策略。系统采用转速控制的压缩机、阀门开度控制的透平,以及可变热源加热器,实现了全动态分析。研究结果表明,MPC与ADRC混合控制方案相较于传统PID控制,功率超调降低至0.9%,效率波动控制在±0.08%,扰动恢复时间缩短至12秒。

AI的内部世界的博客 344

面试官问:为什么需要消息队列?使用消息队列有什么好处?

目录 一、消息队列的特性 二、为什么需要消息队列? 三、使用消息队列有什么好处? 四、为什么需要分布式? 五、分布式环境下需要解决哪些问题? 六、如何实现? 七、常见消息队列对比和选型 一、消息队列的特性 业务无关,一个具有普适性质的消息队列组件不需要考虑上层的业务模型,只做好消息的分发就可以了,上层业务的不同模块反而需要依赖消息队列所定义的规范进行通信。 FIFO,先投递先到达的保证是一个消息队列和一个buffer的本质区别。 容灾,对于普适的消息队列组件来说,节点的动态增删和消息的持久化,

热衷技术的Java程序员 774

【YOLOv8改进-卷积Conv】 SAConv(Switchable Atrous Convolution):可切换的空洞卷积

许多现代目标检测器通过采用二次观察和思考机制展示了卓越的性能。在本文中,我们在目标检测的主干设计中探索了这一机制。在宏观层面上,我们提出了递归特征金字塔(Recursive Feature Pyramid),该金字塔将特征金字塔网络(Feature Pyramid Networks)的额外反馈连接融入到底层的自下而上主干层中。在微观层面上,我们提出了可切换空洞卷积(Switchable Atrous Convolution),该卷积通过不同的空洞率卷积特征,并使用切换函数汇集结果。

专注于图像领域,主要研究内容包括计算机视觉和深度学习,特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。 1529

帆软报表开发-快速入门

数据可视化展示功能特点如下:选择权限管理 > 用户最终权限 > 汤姆(Tom) > 选择图表设计入门 > 打开查看权限。

郭宝的博客 5973

使用消息队列有什么好处呢

依然是上面的例子,有一天老板大黄接了很多订单,所以他号召一家老小都来工作,但是大家对贴商标不怎么在行,都去拧瓶盖了,所以一上午的时间一下子拧了1w个瓶盖,并放到架子上(假设老板搞了一个非常大的架子)如果按正常工序,肯定需要很多贴商标的人,才能快速消化掉这1w个拧好瓶盖的瓶子,但老板没有那么多员工。一开始小A拧完盖子后交给小B再去贴商标,如果小A已经拧完盖子交给小B时,小B还在贴商标,那么此时小A只能等着小B,只有小B上一次的贴商标动作完成后,小A才能把这次的瓶子交给小B,然后继续拧下一个。

am_Linux的博客 287

YOLOv11改进策略【Neck】| GFPN 超越BiFPN 通过跳层连接和跨尺度连接改进v11颈部网络

本文记录的是利用颈部结构优化YOLOv11的目标检测网络模型。利用改进后的颈部网络,通过跳层连接,避免了在进行反向传播时的梯度消失问题,并且引入跨尺度连接,可以实现不同级别和层次的特征充分融合,获取足够的高层语义信息和低层空间信息交换,从而在大规模变化场景下提高检测性能。GIRAFFEDET: A HEAVY-NECK PARADIGM FOR OBJECT DETECTION-GFPN包含了上述的跳层连接(dense-link和log2nlog _{2} nlog2​n-link)以及跨尺度连接(Quee

Limiiiing的博客 3014

【008】为什么需要消息队列?使用消息队列有什么好处?

>>号外:往期面试题,每10篇为一个单位归置到本公众号菜单栏->聚合->面试专题,有需要的欢迎翻阅。一、消息队列的特性二、为什么需要消息队列?三、使用消息队列有什...

Java精选 506

【即插即用模块】注意力篇 | MICCAI 2023 | MFE:多尺度特征提取,告别固定感受野,猛涨2个点!

本文提出一种用于低分辨率乳腺癌病理图像超分辨率与分类的网络SHISRCNet。针对现有方法处理低分辨率图像效果差、感受野固定等问题,设计了多特征提取模块(MFE),通过多速率空洞卷积覆盖全尺度感受野(局部到全局),结合递进残差连接和动态权重融合机制,实现自适应多尺度特征增强。实验表明,该模块在超分辨率任务中PSNR提升近2个点,分类准确率显著提高。代码提供详细注释,支持即插即用,适用于各类多尺度视觉任务。

主要更新底层视觉(去噪、超分等)相关的科研内容,形式为【论文精读】+【论文复现】 208

c语言实现求一个矩阵特征值和特征向量

前言 求矩阵的特征值,主要是用的QR分解,在我的有一次博客里,我已经详细地给出了计算的过程,大家有兴趣可以去看下,经过几天的钻研,终于完成了整个的eig算法。下面我将把我的整个代码附上,有不懂的可以问我,欢迎一起讨论学习! 这是对上一次的修改版,上一次写的程序是在C++编译环境下编译的,所以放在c里面编译有些会出错。 最后,如果有不对的地方希望大...

qq_36417014的博客 2万+

22. 为什么需要消息队列?使用消息队列有什么好处?

为什么需要消息队列?使用消息队列有什么好处?

优快云全栈领域优秀博主,阿里云博客专家,工信部权威认证物联网技术开发工程师,曾30分钟高分通过C语言二级,两天手撸代码完成EasyX飞机大战,靠接软件私活一个月换苹果电脑 824

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

【22期】为什么需要消息队列?使用消息队列有什么好处?

点击上方蓝色“java大数据修炼之道”,选择“设为星标” 每晚九点: 技术干货 ???? 必定奉上目录一、消息队列的特性二、为什么需要消息队列?三、使用消息队列有什么好处?四、为什么需要分布式...

hello world! 452

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

上一篇: 7 个对 Java 意义重大的性能指标,你知道几个?
下一篇: 腹黑 HR 黑话大全:那些残忍的潜台词!
公众号-芋道源码
博客等级 码龄10年 1638粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值