一文帮你了解MQ

一文了解消息队列MQ(超详细+干货满满) 阅读详情

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 10:33 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:www.jianshu.com/p

/4b46be5d0ab6


一、简介

MQ全称为Message Queue-消息队列,是一种应用程序对应用程序的消息通信,一端只管往队列不断发布信息,另一端只管往队列中读取消息,发布者不需要关心读取消息的谁,读取消息者不需要关心发布消息的是谁,各干各的互不干扰。

市场上现在常用的消息队列有:RabbitMQ、RocketMQ、Kafka,ActiveMQ

26b28def0d6ec5a5036360a94e788219.jpeg

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能。

项目地址:https://github.com/YunaiV/ruoyi-vue-pro

二、MQ的优势

(1) 解耦

使用消息MQ后,只需要保证消息格式不变,不需要关心发布者及消费者之间的关系,这两者不需要彼此联系

(2) 异步

在一些不需要即时(同步)的返回结果操作,通过消息队列来实现异步。

(3) 削峰

在大量请求时(秒杀场景),使用消息队列做缓冲处理,削弱峰值流量,防止系统在短时间内被峰值流量冲垮。

场景:在大量流量涌入高峰,如数据库只能抗住2000的并发流量,可以使用MQ控制2000到数据库中

(4) 日志处理

日志存储在消息队列中,用来处理日志,比如kafka。

基于微服务的思想,构建在 B2C 电商场景下的项目实战。核心技术栈,是 Spring Boot + Dubbo 。未来,会重构成 Spring Cloud Alibaba 。

项目地址:https://github.com/YunaiV/onemall

三、MQ的劣势

  • 系统的可用性降低

在还未引进MQ之前,系统只需要关系生产端与消费端的接口一致性就可以了,现在引进后,系统需要关注生产端、MQ与消费端三者的稳定性,这增加系统的负担,系统运维成本增加。

  • 系统的复杂性提高

引入了MQ,需要考虑的问题就增加了,如何保障消息的一致性,消费不被重复消费等问题,

  • 一致性问题

A系统发送完消息直接返回成功,但是BCD系统之中若有系统写库失败,则会产生数据不一致的问题。

四、常见问题

(1) 怎么保证消息没有重复消费?使用消息队列如何保证幂等性

幂等性:就是用户对于同一操作发起的一次请求或者多次请求的结果是一致的,不会因为多次点击而产生了副作用

问题出现原因

我们先来了解一下产生消息重复消费的原因,对于MQ的使用,有三个角色:生产者、MQ、消费者,那么消息的重复这三者会出现:

  • 生产者:生产者可能会推送重复的数据到MQ中,有可能controller接口重复提交了两次,也可能是重试机制导致的

  • MQ:假设网络出现了波动,消费者消费完一条消息后,发送ack时,MQ还没来得及接受,突然挂了,导致MQ以为消费者还未消费该条消息,MQ回复后会再次推送了这条消息,导致出现重复消费。

  • 消费者:消费者接收到消息后,正准备发送ack到MQ,突然消费者挂了,还没得及发送ack,这时MQ以为消费者还没消费该消息,消费者重启后,MQ再次推送该条消息。

解决方案

在正常情况下,生产者是客户,我们很难避免出现用户重复点击的情况,而MQ是允许存在多条一样的消息,但消费者是不允许出现消费两条一样的数据,所以幂等性一般是在消费端实现的:

  • 状态判断:消费者把消费消息记录到redis中,再次消费时先到redis判断是否存在该数据,存在则表示消费过,直接丢弃

  • 业务判断:消费完数据后,都是需要插入到数据库中,使用数据库的唯一约束防止重复消费。插入数据库前先查询是否存在该数据,存在则直接丢弃消息,这种方式是比较简单粗暴地解决问题

(2) 消息丢失的情况
78a76b6e88e9aa6ce6daefae824e83c0.jpeg
(3) 消息的传输顺序性

解决思路

在生产端发布消息时,每次法发布消息都把上一条消息的ID记录到消息体中,消费者接收到消息时,做如下操作

  • 先根据上一条Id去检查是否存在上一条消息还没被消费,如果不存在(消费后去掉id),则正常进行,如果正常操作

  • 如果存在,则根据id到数据库检查是否被消费,如果被消费,则正常操作

  • 如果还没被消费,则休眠一定时间(比如30ms),再重新检查,如被消费,则正常操作

  • 如果还没被消费,则抛出异常

(4) 怎么解决百万消息积压问题

根据消息重要程度,可以分为两种情况处理

  • 如果消息可以被丢弃,那么直接丢弃就好了

  • 一般情况下,消息是不可以被丢弃的,那么这样需要考虑策略了,我们可以把原来的消费端重新当做生产端,重新部署一天MQ,再后面出现增加消费端,这样形成另一条生产-消息-消费的线路

66a249858a503ded885af5bd94a50d6f.jpeg

欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

e6e29584f09560ffa5934fb791209687.png

已在知识星球更新源码解析如下:

09f4fc2a2475d51f9d5d21c547769674.jpeg

6d3c6b60d277ebf459dbd7d2d79de234.jpeg

ddb00c55e8abd277d04c9c25d71fba24.jpeg

d43fa63a8e3459441e7920dcd5cfa464.jpeg

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
一文了解MQ 死 信交换机和正常的交换机没有什么不同 , 如果一个包含死信的队列配置了属性,指定了一个交换机,那么队列中的死信就会投递到这个交换机中,而这个交换机称为死信交换机为队列绑定死信交换机 , 只需要设置队列属性即可。 阅读详情

相关推荐

MQ2和MQ7电压值与PPM的转换公式

最近给人做了个机智云的环境监测程序,第一次赚外快,100块钱我就接了。写程序的时候发现好多人在找这两传感器电压值和PPM的转换,我这个也是照搬别人的公式,不过效果还不错。不过遗憾的是,我都写的差不多了,他又要让我换ONENET,ONENET我不太熟,他就又给了我100让我帮他搞搞,然后我就赚了200大洋,人生少有的一次靠知识赚外快 硬件 stm32f103c8t6\esp8266\mq2\mq7\dht11 云平台 机智云 代码里边关于配网的部分我没写,因为我的esp8266烧录完机智云的固件后,用了很多次

qq_43313535的博客 2万+

每个程序员都应该收藏的算法复杂度速查表

点击上方“芋道源码”,选择“设为星标”管她前浪,还是后浪?能浪的浪,才是好浪!每天 8:55 更新文章,每天掉亿点点头发...源码精品专栏原创 | Java 2020 超神之路,很肝~...

芋艿V 262

MQ----为什么使用MQ,MQ的优点和缺点呢?

为什么使用MQ? 文章引用地址: 感谢前辈分享 https://github.com/doocs/advanced-java/blob/master/docs/high-concurrency/why-mq.md 为什么使用MQ?就是说我们在这在使用MQ的地方是因为什么原因 我们使用MQ都是为了我们的业务,因为业务上有个什么场景,因此使用了MQ。 MQ中进场使用的三种场景是,解耦,异步,削峰 首先...

qq_41174684的博客 6208

京东热 key 探测框架新版发布JD-hotkey,单机 QPS 可达 35 万

https://mp.weixin.qq.com/s/3URAvUF6zwxeF5Kkc1aWHA

文盲青年的博客 8838

OI 生涯回忆录 《Pilgrimage》

前言 于 NOI2020 后写下本文。 本文简单提及了在写作时尚能回忆起来的,在我的 OI 生涯中对我的影响重大的人、事、比赛等。 写作本文,旨在在回忆允许的范围内,对 OI 生涯进行一定程度上的梳理,总结。 开端 入门 我最早接触计算机程序设计,是在小学。 那时候,我的数学成绩不错,就被老师推荐去学习编程。 就这样,我在局前街小学的何静老师的指导下,走上了编程的道路。 小学时的编程,与其说是 “竞赛” ,不如说是 “兴趣班” 。 当时,包括我在内,很多小孩子天性是浮躁的。支撑我对着无聊的代码学下去的,并不

cz_xuyixuan的博客 1万+

【Anaconda】解决“libGL error: MESA-LOADER: failed to open iris”问题

stackoverflow中的“libGL error: MESA-LOADER: failed to open iris”问题。而在自己创建的conda环境中的lib下出现`GLIBCXX_3.4.30’ not found 的情况。在上述解决方案中,将第一行命令的lib路径换成自己创建的conda环境lib路径,运行指令,问题解决。目前问题解决,总结一下查找资料以及解决方法。运行如下命令,发现本地支持。

quintus0505的博客 5026

AsyncTool 京东多线程并行框架

然后在worker类中通过get(“id”)的方法,获取指定id的返回结果作为参数。通过.getWorkResult().getResult()获取具体的返回值。首先通过 .id(“id”) 方法想要获取参数的线程都编号,通过以上两个方法可以实现线程之间的串、并行等各种复杂的操作。以此类推创建worker1、和worker2。先添加repositories节点。然后添加如下maven依赖。如此,实现了线程的并行。定义一个worker。可以通过一下方法实现。

weixin_58286934的博客 3321

LLCE、PFE模块,二层交换/桥接的通用学习转发机制

NXP 文档里给出的正式全称如下:面向 CAN/CAN-FD、LIN、FlexRay 的“低延迟通信引擎”,用多核 M0 固件做报文收发、过滤、路由,把主 CPU 中断负荷降到几乎 0。“数据包转发引擎”,负责以太网帧的分类、修改、转发、VLAN/NAT/IPsec 等 offload,支持 2 Gbit/s 线速且主机负载 ≈0。两者都跑各自固件,通过内部 AXI 桥可互连,实现“CAN→ETH”零主核参与的硬件级网关功能。是它们都集成在。

qq_25461777的博客 1305

延迟队列实现,定时任务,关闭订单

点击上方“芋道源码”,选择“设为星标”管她前浪,还是后浪?能浪的浪,才是好浪!每天 8:55 更新文章,每天掉亿点点头发...源码精品专栏原创 | Java 2020 超神之路,很肝~...

芋艿V 490

1. 在 SAP ABAP 事物码 SEGW 里创建 SAP OData 项目

本文介绍如何在 SAP ABAP 事物码 SEGW 里创建 SEGW 项目,使用工具生成 Runtime 运行时需要的资源。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 5449

Android性能优化之Android Profiler

在移动应用开发中,打造一个流畅、省电且不卡顿的用户体验是至关重要的。然而,随着应用功能的日益复杂,内存泄漏、CPU暴涨、网络卡顿以及电量消耗过快等问题常常化身为隐形杀手,悄悄吞噬着用户体验。为了帮助开发者精准定位并解决这些性能瓶颈,谷歌在Android Studio中集成了一款强大的一站式性能分析工具Android Profiler。Android Profiler作为Android Studio内置的实时数据可视化工具,支持运行在Android 5.0及更高版本的设备上。

xiangzhihong8的专栏 203

架构设计内容分享(四十五):多级缓存 架构设计

引入本地缓存又会带来哪些问题呢?主要问题有:数据一致性问题本地缓存数据污染问题前面咱们看了 数据一致性问题。再来看看,缓存污染问题。缓存污染问题指的是留存在缓存中的数据,实际不会再被访问了,但是又占据了缓存空间。如果这样的数据体量很大,甚至占满了缓存,每次有新数据写入缓存时,还需要把这些数据逐步淘汰出缓存,就会增加缓存操作的时间开销。因此,要解决缓存污染问题,最关键的技术就是能识别出这些只访问一次或是访问次数很少的数据,在淘汰数据时,优先把他们筛选出来淘汰掉。所以,解决缓存污染的核心策略,叫做。

之乎者也·的博客 1486

改进的U-Net在视网膜血管分割上的应用

为了提高算法在血管边界的分割能力,在编码部分采用全局卷积网络(GCN)和边界细化(BR)替换传统的卷积层;在跳跃连接部分引入改进的位置注意模块(PA)和通道注意模块(CA),目的是增加血管与背景之间的对比度,使网络更好地将血管与背景分割开;此外,为了提高网络的性能,在编码部分的最后一层使用密集卷积网络解决网络过拟合问题,同时为了在一定程度上解决梯度爆炸、梯度消失的问题,在解码部分的每一层使用卷积长短记忆网络提升网络获取特征信息的能力。替换传统的卷积操作来解决血管边界非血管像素误分为血管的问题。

weixin_70923796的博客 785

MQ消息队列详解、四大MQ的优缺点分析

MQ消息队列详解 近期有了想跳槽的打算,所以自己想巩固一下自己的技术,想了解一些面试比较容易加分的项,近期准备深入研究一下redis和mq这两样,这总体上都是为了解决服务器并发的原因,刚翻到了一篇有关于mq的,觉得写得特别好,特此记录一下,也算是为了加深自己的印象。 首先从MQ容易面对的面试题切入一下 为什么要使用MQ 消息队列有什么优点和缺点 kafka、ActiveMQ、RabbitMQ、R...

光头强的博客 20万+

FT2004(D2000)开发实战之AMD R5 230显卡驱动适配

AMD R5 230显卡驱动适配

嵌入式Linux 3205

CloudCompare 和 PCL:点云网格化分析与处理

点云网格化是将点云数据转化为规则网格的过程,其主要思想是将离散的点云投影到一个平面上,然后对该平面进行划分,形成一系列小区域。在点云网格化方面,PCL 提供了各种算法和工具,可以实现高效的点云网格化操作。以上示例代码中,首先加载了输入的点云数据,然后通过设置合适的网格化算法参数,如搜索半径和最大三角形边长等,执行了网格化操作,最后将网格化结果保存到输出文件中。以上示例代码中,首先加载了输入的点云数据,然后通过设置合适的网格化参数,如分辨率等,执行了网格化操作,最后将网格化结果保存到输出文件中。

TechPulseZ的博客 1297

一文读懂MQ

文章目录一文读懂MQ理解MQ1 提供的能力1.1 解耦1.2 异步化1.3 消峰2. 带来的问题:3. 协议:3.1 JAVA API 之 JMS3.2 AMQP(mq协议)rabbitMQ1 参考文献2 基本属性3 工作模型4 消息可靠性5 服务高可用kafka1 参考文献2 基本属性3 属性介绍3 分片模型4 重点知识4 消息可靠性5 服务高可用rocketmq1 参考文献2 基本概念3. 技术架构RocketMQ架构上主要分为四部分,如上图所示:END: Kafka、ActiveMQ、Rabbit

thunder liu 的博客 731

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

什么是MQ?什么时候使用MQ?为什么要使用MQ?

只是代码的搬运工~~~~~问题1:什么是MQ?什么时候使用MQ?为什么要使用MQ?MQ,是一种跨进程的通信机制,用于上下游传递消息。在互联网架构中,MQ是一种非常常见的上下游“逻辑解耦+物理解耦”的消息通信服务。使用了MQ之后,消息发送上游只需要依赖MQ,不用依赖其他服务。问题1:什么是MQ?什么时候使用MQ?为什么要使用MQ?MQ,是一种跨进程的通信机制,用于上下游传递消息。在互联网架构中,MQ...

MrHuang 4万+

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

MQ详细概念及其了解

既然 MQ 有优势也有劣势,那么使用 MQ 需要满足什么条件呢?生产者不需要从消费者处获得反馈。引入消息队列之前的直接调用,其接口的返回值应该为空,这才让明 明下层的动作还没做,上层却当成动作做完了继续往后走,即所谓异步成为了可能。容许短暂的不一致性。确实是用了有效果。即解耦、提速、削峰这些方面的收益,超过加入MQ,管理MQ这些成本。

小星袁 1199

POSIX 消息队列函数(mq_open、mq_getattr、mq_send、mq_receive)示例

概述 消息队列是Linux IPC中很常用的一种通信方式,它通常用来在不同进程间发送特定格式的消息数据。 消息队列和之前讨论过的管道和FIFO有很大的区别,主要有以下两点: 一个进程向消息队列写入消息之前,并不需要某个进程在该队列上等待该消息的到达,而管道和FIFO是相反的,进程向其中写消息时,管道和FIFO必需已经打开来读,那么内核会产生SIGPIPE信号。 IPC的持续性不同。管道和FIFO...

mayue_web的博客 4万+

初识MQ——学习MQ之前需要了解的知识点

在现在的大数据时代,高并发的情况越来越普遍,系统一个不注意,就可能崩溃无法访问了。这是开发最不想看到的情况,如果是上班还好,可以分析定位。要是下班的时候,那就完了,可能美好的休息时光就没了。最惨的就比如微博奔溃,程序员结婚当天加班了。为了避免这种悲催的情况,就需要用到中间件——MQ。

博客 1367

什么是MQ

MQ全称 Message Queue(消息队列),是在消息的传输过程中保存消息的容器。多用于分布式系统之间进行通信。分布式系统之间进行通信:远程调用:各系统间直接通过远程调用的方式;借助第三方完成系统通信:上面A系统用来发送消息的为:生产者B系统用来接收消息的为:消费者MQ为:中间键小结⚫MQ,消息队列,存储消息的中间件⚫分布式系统通信两种方式:直接远程调用 和 借助第三方 完成间接通信⚫发送方称为生产者,接收方称为消费者。

weixin_57726902的博客 1万+

十分钟简单了解MQ相关知识

MQ,Message Queue,是一种提供消息队列服务的中间件,也称为消息中间件,是一套提供了消息生 产存储消费全过程API的软件系统。消息即数据。一般消息的体量不会很大。

CodeQiuShan的博客 955

什么是MQ?为什么要用MQ?MQ分类、MQ的选择

一、什么是MQ? MQ(message queue),从字面意思上看,本质是个队列,FIFO先入先出,只不过队列中存放的内容是message而已,还是一种跨进程的通信机制,用于上下游传递消息。在互联网架构中,MQ是一种非常常见的上下游“逻辑解耦+物理解耦”的消息通信服务。使用了MQ之后,消息发送上游只需要依赖MQ,不用依赖其他服务。 二、为什么要用MQ 1、流量消峰 举个例子,如果订单系统最多能处理一万次订单,这个处理能力应付正常时段的下单时绰绰有余,正常时段我...

花&败 1万+

面试篇之MQ一文带你总结

1.MQ的应用场景 导读-xmind 1.1.解耦 智能客服系统中,企业注册完成后,需要完成一系列初始化操作,如创建es的索引,创建默认的一些数据 发短信 1.2.异步 减少耗时,异步下单操作,接收到参数之后写入mq,通过多个节点去下单,然后websocket推送结果(参数中带有clientid) 1.3.削峰 高并发场景排队 2.技术选型 mq 优势 缺点 RabbitMQ erlang语言开发,无法二次维护,稳定及社区活跃度比较高 RocketMQ java,阿里系,可二度开发

SpringForAll的博客 866
上一篇: 发现一款 JSON 可视化工具神器,太爱了!
下一篇: DataX 实现 MySQL 数据,高效同步
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值