消息队列应用场景

银晗 银晗 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 400+累计阅读 496平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄6年
关注
原创 最新推荐文章于 2026-09-19 09:43:32 发布 496 阅读 AI 写同款· GEO 优化 ›
消息队列经典应用场景 笔者心中，是高并发解决方案三剑客。在职业生涯中，笔者曾经使用过 ActiveMQ 、RabbitMQ 、Kafka 、RocketMQ 这些知名的消息队列。这篇文章，笔者结合自己的真实经历，和大家分享消息队列的七种经典应用场景。 阅读详情

遇到的问题：

  1. 系统崩溃

  2. 服务处理能力有限

  3. 链路耗时长尾

  4. 日志如何处理

     三个作用解耦、削峰、异步

解耦：请求发送到消息队列中，再进行处理

削峰： 请求先放到消息队列中，然后同时处理合适的请求数量

异步：在消息队列中，就显示成功，用户和商家之间不同步的进行处理

消息队列：保存消息的容器，高吞吐、高并发、高可用

在这里插入图片描述

  • 数据复制

在这里插入图片描述

  • kafka架构

在这里插入图片描述

  • 批量发送

在这里插入图片描述

  • 顺序写，增加写入速度
    在这里插入图片描述
  • 偏移量查找： 二分查找小于目标offset的最大的索引位置

在这里插入图片描述

  • 时间戳索引

在这里插入图片描述

  • 零拷贝
    在这里插入图片描述

Paratition分配 ：Rebalance

手动分配：自己分

自动分配

在这里插入图片描述

  • 消费者和集群之间进行通信，商讨分配方案

在这里插入图片描述

kafka问题：

在这里插入图片描述

数据复制后，重启，重新选举leader，但新leader和旧leader数据不一样（追赶数据），数据同步完成，Leader回切（旧leader重新成为leader）

数据的最终一致性：不同节点通过副本的直接数据复制，达到最终一致性

节点重启时间长，多台并发重启？

可能两台机器重启在一个分片上，可能其中一台机器有多个分片，会导致一个集群的不可用

回切：目的是避免，在一个集群长期运行后，所有的leader分布在少数据节点上，导致数据的不均衡

负载不均衡

在这里插入图片描述

  • 现在不均衡，要均衡，就得迁移，要复制，又会带来大量的IO
  • 所以要设计一个极其复杂且权衡IO的方案

BMQ

  • 存算分离：Proxy和Broker是无状态的，不会出现数据复制的情况

在这里插入图片描述

  • BMQ数据副本随机分配到不同节点上

kafka的数据写入，先在leader上面写好文件，然后同步到Follower上，所以对于同一副本的所有Segement都在同一台机器上，就存在单分片过大导致负载不均衡问题
在这里插入图片描述

状态机

在这里插入图片描述

  • recover状态： 只有一个节点写；上次写如果失败，save checkpoint 再写 （避免索引和数据不一致的问题）

写文件流程

在这里插入图片描述
在这里插入图片描述

  • 写文件失败，不等节点恢复，直接换一个节点

在这里插入图片描述

Proxy

在这里插入图片描述

多机房

  • 每个机房处理全量的Paratition
    在这里插入图片描述

Databus

在这里插入图片描述

Mirrior

在这里插入图片描述

  • mirror中间存在消息延迟

index

在这里插入图片描述

Parquet

  • 列式存储

在这里插入图片描述

RocketMQ

针对秒杀业务，峰值业务

在这里插入图片描述

  • Queue里面存索引，真实数据再CommitLog中

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

消费重试&死信队列

在这里插入图片描述

收录于
Go

当前文章被收录于：

Go
2 篇文章 0 人学习
订阅专栏 查看详情
标签
#kafka #java #分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
【图像去噪】论文复现：CLIP用于图像去噪提升泛化性！CLIPDenoising的Pytorch源码复现，跑通CLIPDenoising全流程，图文结合，网络结构梳理和拆解，对应源码注释！ 论文题目：Transfer CLIP for Generalizable Image Denoising —— 用于可泛化图像去噪的转移CLIP。【图像去噪】论文精读：Transfer CLIP for Generalizable Image Denoising（CLIPDenoising）CLIPDenoising理论部分详解见上面对应的论文精读，本文以源码为主，理论部分只是粗略回顾。启发：多看其他领域的文章，分析是否能应用在去噪领域，这是产生idea的要素之一； 阅读详情

相关推荐

通达信K线主图指标公式实战：如何用颜色标记快速识别涨停与炸板信号

本文详细介绍了如何利用通达信K线主图指标公式，通过颜色标记快速识别涨停与炸板等关键信号。通过实战拆解公式源码，手把手教您构建直观的“视觉交易系统”，将复杂的K线形态转化为醒目的颜色信号，帮助投资者高效聚焦机会与风险，提升技术分析效率。

weixin_29302047的博客 1766

RabbitMQ之镜像队列

概述 如果RabbitMQ集群只有一个broker节点，那么该节点的失效将导致整个服务临时性的不可用，并且可能会导致message的丢失（尤其是在非持久化message存储于非持久化queue中的时候）。当然可以将所有的publish的message都设置为持久化的，并且使用持久化的queue，但是这样仍然无法避免由于缓存导致的问题：...

weixin_34419326的博客 741

ESP32-P4实战：LVGL V9.4 PPA加速配置与性能对比

本文详细介绍了如何在ESP32-P4平台上配置LVGL V9.4的PPA硬件加速功能，通过启用PPA加速显著提升图形处理性能并降低CPU占用率。文章包含环境准备、配置步骤、性能对比及常见问题解决方案，帮助开发者高效利用ESP32-P4的PPA加速器优化嵌入式GUI应用。

rice5的博客 1190

消息队列有哪些应用场景？

分布式系统不同模块之间的通信，除了远程服务调用以外，消息中间件是另外一个重要的手段，在各种互联网系统设计中，消息队列有着广泛的应用。从本文开始，专栏进入分布式消息的模块，将讨论消息队列使用中的高频问题，先来看一下，消息队列的应用场景。

欢迎朋友，我是一名十多年开发经验的新手，希望多多指教。 1125

Lumerical-定向耦合器1

概述：本文章使用FDE求解器对定向耦合器进行了数值仿真，讨论了耦合器的间距相关性，耦合长度相关性，波长相关性。讨论了脊形波导和条形波导两种情况。

m0_61776728的博客 4614

PCB压合原理与工艺全流程深度解析

PCB压合是多层印制电路板制造中的核心工序，其本质并非简单物理叠加，而是高分子树脂流动、玻璃布应力释放、铜箔热膨胀及界面能调控的协同过程。理解压合原理，需掌握温度-压力-时间三维曲线动态关系；优化工艺流程，须兼顾叠板精度、热压参数匹配与冷却策略；关键影响因素如半固化片（PP）选型、铜箔表面处理、设备温场均匀性、结构对称性、环境湿度及操作手法，共同决定层间结合力、翘曲度与孔壁质量。本文围绕PCB压合原理、工艺流程、关键影响因素三大维度展开，融合IPC标准、实测数据与产线案例，为工艺工程师、NPI人员及设备维护

weixin_29191081的博客 257

消息队列的4种应用场景

消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题 实现高性能，高可用，可伸缩和最终一致性架构 使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ 二、消息队列应用场景 以下介绍消息队列在实际应用中常用的使用场景。异步处理，应用解耦，流量削锋和消息通讯四个场景 2.1异步处理 场景说明：...

weixin_30399155的博客 235

【MATLAB】STM32电机调速闭环控制工程

本文提出了一种基于MATLAB仿真与STM32实现的直流电机闭环PID调速控制方案。通过MATLAB建立电机数学模型并进行参数整定，仿真验证了增量式PID算法在启停、稳态和抗扰动方面的优越性能。基于STM32F103搭建了硬件系统，实现了编码器测速、定时中断控制、PWM输出等功能。实测表明，该系统转速超调<2%、稳态误差±2r/min，具备快速响应和强抗扰能力。相比开环控制，闭环调速显著提升了动态性能和稳态精度。方案提供了完整的仿真代码和嵌入式工程源码，可直接应用于智能小车、工业传动等场景，具有较高的

unber的博客 50

消息队列 (message queue) 详解 - 消息队列应用场景介绍

消息队列是一种异步处理机制，用于在分布式系统中存储和转发消息。它通过将消息从发送方（生产者）传递到接收方（消费者）来实现解耦、异步处理以及流量削峰。在RocketMQ中，生产者负责生成并发送消息至Broker；Broker作为代理服务器，负责存储消息并根据消费者的请求进行分发；消费者则负责从Broker拉取消息并进行消费。消息以Topic为单位进行组织，每个Topic可包含多个Message Queue，用以存储具体的消息。

xingxuechao的专栏 2377

运行codex时出现登录失败:failed to start login server: 以一种访问权限不允许的方式做了一个访问套接字的尝试。 (os error 10013) 解决方案

本文主要介绍了运行codex时出现登录失败:failed to start login server: 以一种访问权限不允许的方式做了一个访问套接字的尝试。 (os error 10013) 解决方案，希望能对使用xx的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案

weixin_43178406的博客 10万+

YOLO26涨点改进| TGRS 2026 | 独家创新首发、注意力改进篇| 引入LCGA局部曲率引导注意力，保持局部稳定性的同时突出关键几何区域，含多种创新改进，促进YOLO26所有任务高效涨点

🔥本文提出LCGA（局部曲率引导注意力）模块，通过引入曲率信息改进YOLO26网络模型。LCGA在局部窗口内利用深度卷积构造曲率代理，调制标准窗口注意力，使模型更关注道路、边界等曲线型结构，提升遥感图像超分辨率中的几何保真度。相比普通注意力，LCGA能精准聚焦关键几何区域，减少边缘断裂和轮廓偏移，同时保持较低计算开销。实验表明LCGA显著提升性能，在UCMerced数据集上PSNR提升0.2148dB。文章提供了三种改进方案。

Ai缝合怪、助力小伙伴高效发论文 227

消息队列的七种经典应用场景

在职业生涯中，笔者曾经使用过 ActiveMQ 、RabbitMQ 、Kafka 、RocketMQ 这些知名的消息队列。这篇文章，笔者结合自己的真实经历，和大家分享消息队列的七种经典应用场景。

Small world 672

【QT/C++】事件过滤器之基于重写 eventFilter 方法的多种常见应用场景及实现

Qt事件过滤器通过重写eventFilter方法实现多种实用功能：1）鼠标事件处理（点击全选文本、禁用滚轮、悬停提示）；2）键盘事件处理（输入内容限制、快捷键提交）；3）焦点事件处理（自动弹出下拉框、实时验证）；4）绘图事件处理（自定义控件绘制）；5）窗口事件处理（防止意外关闭、尺寸限制）。事件过滤器提供非侵入式的事件处理方案，相比传统子类化方式更灵活，通过installEventFilter安装到目标控件即可实现各种交互增强功能。

yuhuasheng1997的博客 1484

消息队列的应用场景

关于消息队列的使用 在学习kafka的过程中，理论有些枯燥。为了激发自己学习的热情，先了解下kafka的使用场景。 一、消息队列概述 消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ 二、消息队列应...

让生活美好一点点 1474

Camera2Demo

在Camera2 的基础上进行封装，使得Camera2一堆初始化逻辑与Activity分离，降低耦合度，完成预览拍照并保存的操作

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明，包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

什么是消息队列及消息队列原理和应用场景详解

“消息队列”是在消息的传输过程中保存消息的容器。 “消息”是在两台计算机间传送的数据单位。消息可以非常简单，例如只包含文本字符串；也可以更复杂，可能包含嵌入对象。 消息被发送到队列中。“消息队列”是在消息的传输过程中保存消息的容器。消息队列管理器在将消息从它的源中继到它的目标时充当中间人。队列的主要目的是提供路由并保证消息的传递；如果发送消息时接收者不可用，消息队列会保留消息，直到可以成功地传递它...

christinxu的博客 9917

VC中sqlite的使用

在VC中对sqlite的使用，实现数据库大批数据的快速插入，读取数据库中的数据在ListCtrl中显示

消息队列的特点及应用场景

什么是消息队列？ 消息队列（Message Queue，MQ），是指消息的传输过程中保存消息的容器，本质是个队列。 消息（Message）是指在应用之间传送的数据，消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。 消息队列（Message Queue）是一种应用间的通信方式，消息发送后可以立即返回，有消息系统来确保信息的可靠专递，消息发布者只管把消息发布到MQ中而不管谁来取...

XUDC的程序人生 3700

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能：商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传，基本资料下载，开钱箱、小票打印、收款结算，支持多币种付款方式（现金、储值卡、礼券、微信等）,支持多种促销。运行环境：.net 4.0登陆信息用户名:1001 密码:123456内置商品信息，商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

深入解析消息队列的七种典型应用场景

是高并发解决方案三剑客。在职业生涯中，笔者曾经使用过 ActiveMQ 、RabbitMQ 、Kafka 、RocketMQ 这些知名的消息队列。这篇文章，笔者结合自己的真实经历，和大家分享消息队列的七种经典应用场景。

m0_46413639的博客 1373

消息队列的对比及适配的应用场景

从几个维度对比常见的消息队列，并探讨它们各自适合的应用场景

David的博客 961

消息队列——概述及应用场景介绍

消息队列概述及应用场景介绍

Star_Inori的博客 1112

消息队列常见的 5 个应用场景

消息队列常见的 5 个应用场景

李小健 205
上一篇： 数字图像处理
下一篇： 前列腺癌论文笔记
点赞 0
评论 0
书签 书签 1
银晗
银晗
博客等级 码龄6年 1万+粉丝 133原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值