消息队列常见问题之消息发生大量堆积应该怎么处理

最新推荐文章于 2025-04-14 15:29:53 发布

詹姆斯-穆里尼奥

最新推荐文章于 2025-04-14 15:29:53 发布

阅读量1.4k

点赞数

文章标签： kafka java rabbitmq

本文链接：https://blog.youkuaiyun.com/java_huizhen/article/details/123015104

版权

当线上出现故障导致消息堆积数千万条时，首要任务是修复Consumer恢复正常消费。同时，可以采取临时topic队列扩容和提升消费者能力来加速处理。通过编写临时程序将旧topic消息快速迁移至扩容的新topic，然后利用更多consumer进行消费。在堆积消息处理完毕后，再恢复到正常运行状态。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

线上故障了，怎么处理
- 消息堆积了10小时，有几千万条消息待处理，现在怎么办?
- 修复consumer, 然后慢慢消费？也需要几小时才可以消费完成，新的消息怎么办？

        核心思想：紧急临时扩容，更快的速度去消费数据

        - 修复Consumer不消费问题，使其恢复正常消费，根据业务需要看是否要暂停

        - 临时topic队列扩容，并提高消费者能力，但是如果增加Consumer数量，
          但是堆积的topic里面的message queue数量固定，
          过多的consumer不能分配到message queue.

        - 编写临时处理分发程序，从旧topic快速读取到临时新topic中，
          新topic的queue数量扩容多倍，然后再启动更多consumer进行在临时新的topic里消费

        - 直到堆积的消息处理完成，再还原到正常的机器数量

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

詹姆斯-穆里尼奥

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

kafka同一个group 消费两个topic吗_面试|分享一波kafka面试题

weixin_39586649的博客

12-25

553

spark 君前面已经分享了好几篇关于kafka的文章，从基本概念和使用到高可用机制解析到最佳实践。今天分享几个kafka的面试题，这些面试题是spark君在面试中经常问到的一些问题，在此整理一下，分享给大家，这个系列就截止了。kafka的基本概念和使用技术选型|kafka vs rabbitMQ原理分析|kafka的高可用机制实践篇|kafka最佳实践1 什么是kafkaKafka是分...

消息队列知识总结1

lf173089386的博客

08-25

772

1、解耦。比如，用户下单后，订单系统需要通知库存系统，假如库存系统无法访问，则订单减库存将失败，从而导致订单操作失败。订单系统与库存系统耦合，这个时候如果使用消息队列，可以返回给用户成功，先把消息持久化，等库存系统恢复后，就可以正常消费减去库存了。2、异步。将消息写入消息队列，非必要的业务逻辑以异步的方式运行，不影响主流程业务。3、削峰。消费端慢慢的按照数据库能处理的并发量，从消息队列中慢慢拉取消息。在生产中，这个短暂的高峰期积压是允许的。比如秒杀活动，一般会因为流量过大，从而导致流量暴增，应用挂掉。

参与评论您还未登录，请先登录后发表或查看评论

mq出现消息堆积怎么处理

u014109358的博客

08-20

2213

在Java中处理消息队列MQ的消息堆积问题是一个常见的挑战。以下是几种可以考虑的解决方案：

消息队列中如何解决消息堆积问题？

weixin_52136521的博客

11-18

746

如字面意思，太多的请求消息堆积在队列里面迟迟得不到解决。话题里面一般有四个队列，一般某个队列堆积的消息超过10w就算消息堆积了。

如何处理消息堆积

最新发布

2505_90729871的博客

04-14

873

消息堆积是指在消息队列中，消息的生成速度超过了消费速度，导致大量未处理的消息积累在队列中。消息队列（如Kafka、RabbitMQ、ActiveMQ等）通常用于解耦系统的生产者和消费者，实现异步处理和提高系统的弹性。但当生产者以比消费者更快的速度产生消息时，队列中的消息会越来越多，最终形成堆积。

RabbitMQ、kafaka、rocketmq等消息队列MQ消息堆积如何解决

刘皇叔说Java的博客

03-07

2363

1.产生背景：生产者投递消息的速率与我们消费者消费的速率完全不匹配。2.生产者投递消息的速率>消费者消费的速率导致我们消息会堆积在我们 mq 服务器端中，没有及时的被消费者消费所以就会产生消息堆积的问题3.注意的是：rabbitmq 消费者我们的消息消费如果成功的话消息会被立即删除（自动ack）kafka 或者 rocketmq 消息消费如果成功的话，消息是不会立即被删除。4.解决办法：A.提高消费者消费的速率；（对我们的消费者实现集群）

透传消息堆积一种处理方案demo

daxiang的专栏

10-12

1492

test var timeout1; var count = 0; testTimeout(); function testTimeout(){ timeout1 = setTimeout(function(){ console.log('setTimeout:' + new Date()); }, 5000); } var timer2 = setInterval(func

消息队列（MQ）消息堆积问题排查与解决思路

lssffy的博客

09-22

2915

消息堆积问题通常发生在生产者发送的消息量超过消费者的处理能力时。消息队列的核心作用是解耦系统中的生产者和消费者，因此在生产和消费速度不匹配时，消息会暂时存储在队列中。然而，当消费者长期无法处理堆积的消息时，队列中的消息就会不断累积，最终导致消息堆积。

【RabbitMQ】RabbitMQ 消息的堆积问题 —— 使用惰性队列解决消息的堆积问题_rabbitmq出现消息堆积

2401_84170190的博客

04-15

2377

要将队列设置为惰性队列，可以通过命令行工具来实现，同时这个方式也可以将运行中的队列设置为惰性队列。注解，可以方便地声明和监听惰性队列，以接收并处理队列中的消息。这简化了消息消费的配置和管理，同时确保了队列的属性和模式的一致性。执行上述命令后，指定的队列将被设置为惰性队列，消息将以惰性队列的方式进行存储和管理。方法来设置队列的模式为 “lazy”，这将使队列成为惰性队列。注解以编程方式创建队列，并将其配置为惰性队列。对象，名称为 “lazy.queue”，并使用。要声明一个惰性队列，可以使用Spring的。

对消息积压问题的理解和解决办法

chen_xiayu的博客

09-13

1274

总之，消息积压问题是一个普遍存在的问题，需要采取一些措施来优化系统，并且需要坚持持续监测和优化。通过合理的消息管理和优化，可以提高系统的性能和可靠性，确保系统的正常运行。

长文图解：单张表数据量太大问题怎么解决？请记住这六个字

JAVA前线技术专栏

12-19

7219

欢迎大家关注公众号「JAVA前线」查看更多精彩分享文章，主要包括源码分析、实际应用、架构思维、职场分享、产品思考等等，同时欢迎大家加我微信「java_front」一起交流学习 1 文章概述在业务发展初期单表完全可以满足业务需求，在阿里巴巴开发手册也建议：单表行数超过500万行或者单表容量超过2GB才推荐进行分库分表，如果预计三年后数据量根本达不到这个级别，请不要在创建表时就分库分表。但是随着业务的发展和深入，单表数据量不断增加，逐渐成为业务系统的瓶颈。这是为什么呢？从宏观层面分析任何物体都必然有其.

java队列为何不处理_MQ队列堆积太长，消费不过来怎么办

weixin_42352842的博客

02-25

299

We have the queue publisher and subscriber, the subscriber is going with multi-threads.The problem is the queue has been increasing too quickly, the consumers can not follow the increment speed, as yo...

消息中间件之八股面试回答篇：三、RabbitMQ如何解决消息堆积问题（100万条消息堆积）+RabbitMQ高可用性和强一致性机制+回答模板

shanshan的博客

01-24

1845

当生产者发送消息的速度超过了消费者处理消息的速度，就会导致队列中的消息堆积，直到队列存储消息达到上限。之后发送的消息就会成为死信，可能会被丢弃，这就是消息堆积问题。

消息队列产生严重消息堆积怎么处理？

05-17

6368

1. 为什么产生消息堆积？大多是因为 Consumer 出问题了，没有及时发现，或者故障恢复需要较长的时间，导致大量消息积压在 MQ 中。 2. 消息堆积会有什么后果呢？ 2.1 消息被丢弃例如 RabbitMQ 有一个消息过期时间 TTL，过期的消息会被扔掉，这样消息就彻底没有了。 2.2 磁盘满了如果堆积量太大，可能导致磁盘空间不足，那么新消息就进不来了。 2.3 海量消息待处理如果消息没过期，并且磁盘空间也够用，那么就是产生海量消息等待被消费，Consumer 的噩梦。 3. 如何应对呢？ 3

为什么需要消息队列(Message Queue)以及各种Message Queue的对比图文详解【一看就懂】

杨大仙

11-22

1041

消息系统的核心作用分为三点：解耦，异步和并行我们以用户注册的案列来说明消息系统的作用；先来看看普通的用户注册流程如图所示：我们可以很清晰地看到，整套流程处理下来需耗费大量的时间用户才能收到反馈。随着后端流程越来越多，每步流程都需要额外地耗费很多时间，从而会导致用户更长的等待延迟。用户注册的并行执行流程问题：系统并行的发起了多个请求，多个请求中，如果某一个环节执行1分钟，其他环节再快，用户也需要等待1分钟。如果其中一个环节异常之后，整个服务便挂掉了。使用消息队列.

nats消息队列学习笔记

wsy9600的博客

11-08

4083

nats 有 3 个产品这里主要讨论 core-nats 和 nats-jetstream。

浅谈如何解决RocketMQ消息堆积的问题