深入理解分布式技术 - 消息队列知识点回顾总结

最新推荐文章于 2025-04-10 14:19:08 发布
最新推荐文章于 2025-04-10 14:19:08 发布
阅读量1.7w 收藏 1
点赞数 2
分类专栏： 【小工匠聊架構】 文章标签： 消息队列
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yangshangwei/article/details/114273276
版权
本文回顾总结了消息队列的重要理论和设计，包括高可用、幂等性、可靠性传输等核心问题，并探讨了Kafka与RocketMQ的特性与设计。通过分析如何处理消息重复消费、消息丢失、系统高可用等问题，帮助读者深化对分布式消息队列的理解。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

在这里插入图片描述

概述

我们平常如何评估MQ掌握的怎么样呢？ 我觉得可以从以下两点来考虑

  1. 针对消息队列的相关理论，比如消息队列重复消费、消费幂等性、消息队列的可靠传输等
  2. 针对某个具体的消息队列中间件，掌握组件应用的原理，实现方案和应用细节，比如常见的 Kafka、RabbitMQ、RocketMQ 等消息队列组件。

在这里插入图片描述

MQ相关理论和设计

针对第一点MQ相关理论和设计，可以考虑的点有

  • 如何保证消息队列的高可用？

  • 如何保证消息不被重复消费？

  • 如何保证消费的时候是幂等？

  • 如何保证消息的可靠性传输？

  • 传输过程出现消息丢失了怎么办？

  • 如何保证消息的顺序性&

了解本专栏 订阅专栏 解锁全文 超级会员免费看
深入理解分布式技术 - 消息队列使用场景
小工匠
02-19 1万+
文章目录概述What's MQ ?应用场景 概述 分布式系统不同模块之间的通信，除了远程服务调用以外， 还有一种比较重要的手段 那就是通过消息队列。 我们来探讨下常见的MQ的问题吧 What’s MQ ? 消息队列，顾名思义，就是传递消息的队列 . 随着分布式系统的发展，消息队列在系统设计中又有了更多的应用。 参与消息传递的双方称为生产者和消费者，生产者和消费者可以只有一个实例，也可以集群部署，典型架构如下图所示： 消息体是参与生产和消费两方传递的数据，消息格式既可以是简单的字符串，也可以是序
深入浅出理解基于 Kafka 和 ZooKeeper 的分布式消息队列
GitChat
07-03 1万+
消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构，是大型分布式系统不可缺少的中间件。 消息队列在电商系统、消息通讯、日志收集等应用中扮演着关键作用，以阿里为例，其研发的消息队列(MQ)服务于阿里集团超过11年，在历次天猫双十一活动中支撑了万亿级的数据洪峰，为大规模交易提供了有力保障。 目前在生产环境，使用较多的消息队列有...
分布式消息队列
腾讯技术工程
09-26 7218
作者：vincentchma，腾讯 IEG 后台开发工程师一、消息队列的演进分布式消息队列中间件是是大型分布式系统中常见的中间件。消息队列主要解决应用耦合、异步消息、流量削锋等问题，具有高...
消息队列原理
06-05 2万+
发布-订阅消息模式 一、订阅杂志 我们很多人都订过杂志，其过程很简单。只要告诉邮局我们所要订的杂志名、投递的地址，付了钱就OK。出版社定期会将出版的杂志交给邮局，邮局会根据订阅的列表，将杂志送达消费者手中。这样我们就可以看到每一期精彩的杂志了。 仔细思考一下订杂志的过程，我们会发现这样几个特点：1、消费者订杂志不需要直接找出版社；2、出版社只需要把杂志交给邮局；3
消息中间件RabbitMQ的原理和使用
最新发布
a15818221700的博客
04-10 607
消息的可靠性投递指的是从生产者-交换机-队列-消费者的每一个环节都要成功，RabbitMQ在每一步都提供了消息确认机制来保证消息的可靠性传递，除该机制外RabbitMQ还使用事务机制来保证消息的可靠性，但事务机制效率极低，不推荐使用。延迟队列中的消息不会马上消费，需要等待指定的时间以后才能被消费，它的作用是用于延迟处理消息，比如购买东西时有下单30分钟内未支付则取消订单的需求，此情况下可以让订单消息等待30分钟后再去消费，判断是否支付，如果未支付则需要回滚库存等，这类似于定时器的功能。
消息队列MQ技术介绍
GarfieldEr007的专栏
08-22 1444
一、 消息队列概述 消息队列中间件是分布式系统中重要的组件，主要解决应用耦合、异步消息、流量削锋等问题。实现高性能、高可用、可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。 目前在生产环境，使用较多的消息队列有ActiveMQ、RabbitMQ、ZeroMQ、Kafka、MetaMQ、RocketMQ等。 二、 消息队列应用场景 下面详细介绍一下消息队列在实际应用中常用的使用场景
消息队列的重要技术讲解
Quasimodo24的博客
04-15 1207
一、什么是消息队列？ 消息队列不知道大家看到这个词的时候，会不会觉得它是一个比较高端的技术，反正我是觉得它好像是挺牛逼的。 消息队列，一般我们会简称它为MQ(Message Queue)，嗯，就是很直白的简写。 我们先不管消息(Message)这个词，来看看队列(Queue)。这一看，队列大家应该都熟悉吧。 队列是一种先进先出的数据结构。 在Java里边，已经实现了不少的队列了： 那为什么还需...
消息队列技术的介绍和原理（MQ）
dolphin_ygj
04-05 186
消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上,队列存储消息直到它们被应用程序读走。通过消息队列，应用程序可独立地执行--它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。   消息中间件概述 消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上,队列存储消息直到它们被应用程序读走。通过消息队列，应用程序可独立地执行--它们不需...
深入浅出消息队列----【订阅关系一致性】
是微风，是晚霞，是无可替代
08-19 1091
所谓的订阅关系，讲白了就是记录某个 consumer 订阅了某主题（含过滤条件如 tag），然后 consumer 去 Broker 拉取消息的时候，根据订阅关系就能拉取到正确的消息。实际生产上，都是由多个 consumer 组成消费组来消费消息的，这样一来对不熟悉订阅关系或者说不了解原理的人，在使用上就很容易出现错误。RocketMQ 中，订阅关系是按照消费组和主题 + tag 粒度设计的，也就是说一个订阅关系=某消费组+某主题+某tag。
大厂消息中间件高频面试题与知识点整理（RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMQ）
张彦峰的博客
04-07 172万+
互联网高频面试之消息中间件基本问题和知识点整理分析
Redis-消息队列的三种方案（List、Streams、Pub-Sub）
2401_84091580的博客
05-03 2241
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门，即可获取！现在回顾下，我们使用的消息队列，一般都有什么样的特点：撇开我们常用的消息中间件不说，你觉得 Redis 的哪些数据类型可以满足 MQ 的常规需求~~思来想去，只有 List 和 Streams 两种数据类型，可以实现消息队列的这些需求，当然，Redis 还提供了发布、订阅(pub/sub) 模式。我们逐一看下这 3 种方式的使用和场景。Redis 列表是简单的字符串列表，按照插入顺序排序。你可以添加一个元素到
互联网大厂高频面试题基本总结回顾（含笔试高频算法整理）
热门推荐
张彦峰的博客
04-03 176万+
1.自我介绍+项目介绍+项目细节/难点提问-------这个主要看个人的经历了，每个人都不一样 2.基础知识点考核---------还是可以去增强自己的，也是这次的主要的一些总结思路 3.算法题-----------一般都是LeetCode高频题，这个得在找工作之前的好好的练习(d对常见的高频题进行总结分析，见对应的链接提示)
分布式之消息队列
CatalpaFlat的博客
10-23 487
分布式之消息队列 目录： * 1.消息队列概述 * 2.消息队列应用场景 * 2.1应用解耦 * 2.1.1传统模式 * 2.1.2使用消息队列 * 2.2异步处理消息 * 2.2.1传统模式 * 2.2.2使用消息队列 * 2.3流量削锋 * 2.4日志处理 *
高并发系统之队列术
xiaomin1991222的专栏
08-30 615
队列在数据结构中是一种线性表，从一端插入数据，然后从另一端删除数据。本文目的不是讲解各种队列算法，而是在应用层面讲述使用队列能解决哪些场景问题。   在我开发过的系统中，不是所有的业务都必须实时处理、不是所有的请求都必须实时反馈结果给用户、不是所有的请求/处理都必须100%处理成功、不知道谁依赖“我”的处理结果、不关心其他系统如何处理后续业务、不需要强一致性，只需保证最终一致性即可、想要保证...
消息队列技术介绍
tangtiantian520的专栏
11-05 345
一、 消息队列概述 　　消息队列中间件是分布式系统中重要的组件，主要解决应用耦合、异步消息、流量削锋等问题。实现高性能、高可用、可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。 　　目前在生产环境，使用较多的消息队列有ActiveMQ、RabbitMQ、ZeroMQ、Kafka、MetaMQ、RocketMQ等。 　　二、 消息队列应用场景 　　下面详细介绍一下消
分布式消息队列详解
F_wait_H的博客
03-29 2348
消息队列是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，它可以在分布式环境下提供应用解耦弹性伸缩冗余存储流量削峰异步通信数据同步等等功能，其作为分布式系统架构中的一个重要组件，有着举足轻重的地位。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小小工匠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值