RocketMQ消费打点监控

最新推荐文章于 2025-12-02 08:45:00 发布

原创最新推荐文章于 2025-12-02 08:45:00 发布 · 792 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#java

本文概述了在使用RocketMq时如何监控消息发送、消费、失败重试以及消费延迟，强调了业务异常处理和设置报警的重要性。通过实例讲解了如何在代码中实现打点和重试策略，以确保高效和及时的监控和问题排查。

背景：

最近我们再用RocketMq 做消息消费总结一下消费监控打点问题

rmq 消费监控我们需要关注发送了多少消息，然后消费了多少，还有失败重试了多少次 (需要加报警)这几个点，去整体的看一个消费者的消费情况

消费lag 的情况

1,消息发送

如果是自己是发送方最好自己在发送的时候上报打点

2.消息消费

消费入口上报

3.消息失败

代码里tryCatch catch 里打点并且要返回 LATER

返回LATER 消息会重试

4.消息lag

一些业务时效性敏感的需要重点关注消息延迟时间

5.消息失败重试次数

rocketMq 是支持消息重试的一共16 次每次时间间隔不一样

在业务执行过程中可能有些网络抖动或者发布的case 导致消费失败，那消费失败的消息我们应该要进行重试

如果我们失败次数过多就需要我们去立刻看到底是什么原因导致消费失败

6, 业务异常

这个就需要取决于业务

比如业务是需要更新一个商品的es 数据结果在消息体里根据商品id 没有查到商品数据，那这个时候代码需要返回SUCCESS 还是返回LATER

也就是说是否要重试

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Aaron被占用了

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

RocketMQ 集群监控（二）

中间件兴趣圈

10-28

1205

前言主题和消费组通常使用方比较关心的资源，发送方关注主题，消费方关注消费组。管理员更侧重关注集群的健康状况。本文介绍主题和消费组的监控实战，包括监控项的设计、及每个监控项的代码实现。监控项设计我们先把主题监控和消费监控统称为资源监控，下图分列了主题和消费组包含的监控项。主题监控从发送速度、发送耗时、消息大小、日消息量方面整理主题监控项，下面分别介绍这些监控项的重要性。发送速度通过实...

RocketMQ 的监控与运维指南

FireFox1997

08-06

1923

本文将详细介绍 RocketMQ 的监控指标、日志管理和相关的运维实践，帮助运维人员更好地管理和维护 RocketMQ 集群。通过合理配置监控指标和日志管理，可以及时发现和解决潜在问题，提高系统的可靠性和可维护性。日志是运维 RocketMQ 的重要手段，通过分析日志可以发现潜在问题并进行故障排查。通过以上的监控与运维实践，你可以全面掌握 RocketMQ 的运行状态，并及时进行调整和优化，确保系统的稳定性和高效性。通过上述配置，可以将 Broker 的日志输出到控制台和文件中，并按日期进行日志滚动保存。

参与评论您还未登录，请先登录后发表或查看评论

喜马拉雅 Apache RocketMQ 消息治理实践

阿里云云栖号

02-07

1777

简介：本文通过喜马拉雅的RocketMQ治理实践分享，让大家了解使用消息中间件过程中可能遇到的问题，避免实战中踩坑。作者：曹融，来自喜马拉雅，从事微服务和消息相关中间件开发。本文通过喜马拉雅的RocketMQ治理实践分享，让大家了解使用消息中间件过程中可能遇到的问题，避免实战中踩坑。业务背景现状以及遇到的问题 1、消息队列概况（1）在线场景：RabbitMQ，实例数9个；（2）离线场景：Kafka，8个集群； 2、遇到的问题在线场景缺乏治理： • 业务混用，相互干扰，非核心

RocketMQ 消费端如何监听消息？

m0_71777195的博客

11-28

2713

目前只是将整体的一个消费端监听消息的流程了解清楚，里面还有许多细节需要去推敲~

Rocketmq 消息消费监控

八荒六合唯我独尊

11-09

1613

比较通用的消息监控方式：累加consumer负载的consumer queue的消息延迟量，消息延迟量= brokerOffset-consumerOffset. 这个统计并不严谨： 1. consumer queue中存储的消息是全量消息，而consumer客户端订阅的往往是过滤消息（ by tag） 2. consumerOffset并非实时更新，可能异步更新，也可能是下次拉取消息的时候更新的，也可能因为此条消息消费卡顿导致一直无法正常更新进度，因此存在一定的更新延迟。推荐的监控方式：

RocketMq 监控

weixin_44971379的博客

04-13

1137

下载项目 rocketmq-console 1：git 地址：https://github.com/apache/rocketmq-externals 2：网盘地址：链接：https://pan.baidu.com/s/1RJsRpM0BYwt5HzFJMRuS7g 提取码：tnaz 3：docker 镜像下载项目编译打包执行目录：rocketmq-console 执行命令： mvn clean package -Dmaven.test.skip=true 项目打包，跳过测试执行.

打点监控以后的报错怎么看？售后问题就是说打点监控到有异常，就会上报mqs

04-22

好的，用户现在的问题是如何查看打点监控上报到MQS的报错信息。首先，我需要明确用户提到的MQS是什么。根据之前的引用内容，用户提到的引用[3]和引用[4]都涉及RocketMQ相关的术语，比如Producer、Consumer、Broker、...

MQ~消息队列能力、AMQP协议、现有选择（Kafka、RabbitMQ、RocketMQ 、Pulsar）

Shangxingya的博客

06-22

2027

RabbitMQ 在吞吐量方面虽然稍逊于 Kafka、RocketMQ 和 Pulsar，但是由于它基于 Erlang 开发，所以并发能力很强，性能极其好，延时很低，达到微秒级。但是也因为 RabbitMQ 基于 Erlang 开发，所以国内很少有公司有实力做 Erlang 源码级别的研究和定制。如果业务场景对并发量要求不是太高（十万级、百万级），要求极高的低延迟，那这几种消息队列中，RabbitMQ 你可以选择使用。RocketMQ 和 Pulsar 支持强一致性。

Redisson分布式锁释放超时导致MQ消费过慢

卓尔货币的博客

02-17

1908

一、问题现象一个需要通过消费MQ导入200w数据量的项目。在项目上线前一天，在QA环境对MQ消费进行压测，发现消费链路异常的长，导致整体消费速率过慢。因为本身已经用sentinel对MQ消费做了限流，限流速率又正好和这个缓慢的速度差不多，所以一直没发现MQ消费本身就过慢:tw-1f605:。二、排查过程 1.在解除sentinel限流之后发现MQ依然龟速消费，一开始怀疑是不是sentinel限流控制有延迟，又或者我们公司中间件有其他对mq消费的默认限速。在重启服务和询问中间件相关同事后确认应该不是限

Kafka 系列 —（15）Kafka 监控全指南

最新发布

moton2017的博客

12-02

890

本文系统介绍了Kafka监控体系的构建方法。主要内容包括：1）度量指标基础，涵盖JMX、健康检测等监控方式；2）Broker核心监控指标，如非同步分区、请求队列、JVM等；3）客户端监控，包括生产者和消费者的关键指标；4）延时监控方法，重点分析端到端延时；5）完整的监控图谱架构。文章强调端到端延时是最重要的SLA指标，并提供了从Broker到客户端的全链路监控方案，为构建企业级Kafka监控体系提供了详细指导。

mongodb埋点监控的坑

liufang1991的专栏

04-28

633

背景公司中间件团队使用了 com.mongodb.event.CommandListener 来对mongodb 打点监控。当我们使用 RocketMQ 调用 mongodb 保存数据的时候没有看到任何异常产生。在我们将 RocketMQ 改用中间件代理，产生了大量的DuplicateKeyException日志，一度怀疑是否中间件的 RocketMQ 代理有问题，分析源码没有。分析原因消费消息的时候，异常如果自己不捕获打印的话，会被ConsumeMessageConcurrentlyServi

rocketmq dashboard

06-27

使用rocketmq编译后的jar,无需自己打包直接可用，免费送给大家

大数据-玩转数据-RocketMQ和监控

s_unbo的博客

04-05

2769

一、什么是RocketMQ 消息队列RocketMQ版是阿里云基于Apache RocketMQ构建的低延迟、高并发、高可用、高可靠的分布式消息中间件。消息队列RocketMQ版既可为分布式应用系统提供异步解耦和削峰填谷的能力，同时也具备互联网应用所需的海量消息堆积、高吞吐、可靠重试等特性。二、 ...

【Report Monitor】一款完整、高性能、高可用的打点监控和统计平台

lvming6816077的博客

06-22

462

后端：Nest.js+TypeScript+MongoDB+Redis 传送门前端：React.js+TypeScript 传送门体验地址：Report Monitor一行代码上报： Java python 其他语言类似，只许发送一条简单的get请求。MongoDB:Windows 平台安装 MongoDBLinux 平台安装 MongoDBRedis:Redis 安装开发：生产：展示效果...

RocketMQ 消息消费轮询机制 PullRequestHoldService

金甲虫的博客

03-01

2147

1. 概述先来看看 RocketMQ 消费过程中的轮询机制是啥。首先需要补充一点消费相关的前置知识。 1.1 消息消费方式 RocketMQ 支持多种消费方式，包括 Push 模式和 Pull 模式 Pull 模式：用户自己进行消息的拉取和消费进度的更新 Push 模式：Broker 将新的消息自动发送给用户进行消费 1.2 Push 消费模式我们一般使用 RocketMQ 时用的是 Push 模式，因为比较方便，不需要手动拉取消息和更新消费进度。那么你有没有想过 Push 模式是如何做到能够立即

监控MySQL长事务并进行打点报警

weixin_34116110的博客

05-29

621

项目地址：https://github.com/sgjr/mysql_long_trx_monitor 此脚本主要用来监控MySQL主库的长事务，通过读取mysql.cfg配置文件，获取MySQL连接地址，以及告警阈值日志按天记录至当前文件夹下边的log目录中，日志格式为YYYY-mm-dd.log 通过pushgateway进行打点准备工作需要先部署好以下工具 prometheus...

查看rocketmq消费情况

热门推荐

Howie_zhw的博客

09-26

4万+

1.首先登陆nameserver主机地址。 cd /root/rocketmq/bin 2.mq支持以下命令 The most commonly used mqadmin commands are: updateTopic Update or create topic deleteTopic Delete topic from broker a

RabbitMQ异常监控及动态控制队列消费的解决方案

wxyh的博客

04-05

2万+

最近，随着系统的上线，在RabbitMQ的使用上遇到了一些问题，现将其分析总结及对应的解决方法分享出来，以便大家借鉴参考。如有不对的地方欢迎指正交流。 1.遇到的问题 (1)某个消费者线程因内存溢出而挂掉，造成对应的队列没有消费者，消息在MQ Server堆积，而系统缺少对该类异常的监控，无法及时有效的进行处理。 (2)在一些业务场景，消息的消费速度远低于生产速度，造成大量消息堆积在MQ...

RocketMQ使用教程及部分原理分析两种监听模式以及消费失败处理策略

a374519711的博客

08-20

5136

RocketMQ由producer、NameServer、broker、consumer组成 Producer：为生产者，消息的来源。需要与NameServer建立连接，从NameServer获取Topic对应的Message Queue的broker地址 NameServer：相当于一个路由器，存着broker的地址信息和对应的topic信息。NameServer可以横向扩展，broker和每一台NameServer建立长连接 Broker： Broker是RocketMQ的核心，提供了消息的接收，存

代码打点监控耗时

11-07

在开发中，**代码打点监控耗时**是指在关键代码段前后记录时间戳，以计算该段代码的执行时间，从而进行性能分析和优化。这种方式在 Android、Java、C++、Python 等各种语言中都适用。 --- ### ✅ Android/Java 示例： ```java long startTime = System.currentTimeMillis(); // 要监控的代码段 doSomeHeavyWork(); long duration = System.currentTimeMillis() - startTime; Log.d("Performance", "doSomeHeavyWork 耗时: " + duration + " ms"); ``` --- ### ✅ Kotlin 示例（Android）： ```kotlin val startTime = System.currentTimeMillis() // 执行操作 doHeavyOperation() val duration = System.currentTimeMillis() - startTime Log.d("Performance", "耗时: $duration ms") ``` --- ### ✅ Python 示例： ```python import time start_time = time.time() # 执行操作 do_heavy_work() duration = time.time() - start_time print(f"耗时: {duration:.4f} 秒") ``` --- ### ✅ C++ 示例： ```cpp #include <chrono> #include <iostream> auto start = std::chrono::high_resolution_clock::now(); // 执行操作 doHeavyWork(); auto stop = std::chrono::high_resolution_clock::now(); auto duration = std::chrono::duration_cast<std::chrono::milliseconds>(stop - start).count(); std::cout << "耗时: " << duration << " ms" << std::endl; ``` --- ### ✅ 高级用法：AOP 或注解处理器（Android）使用 AOP（面向切面编程）框架如 **AspectJ**，可以实现非侵入式打点： ```java @Around("execution(* com.example.myapp.MyClass.myMethod(..))") public Object logExecutionTime(ProceedingJoinPoint joinPoint) throws Throwable { long start = System.currentTimeMillis(); Object result = joinPoint.proceed(); long duration = System.currentTimeMillis() - start; Log.d("AOP", joinPoint.getSignature() + " 耗时: " + duration + "ms"); return result; } ``` --- ### ✅ 注意事项： - 使用 `System.nanoTime()` 可以获得更高精度的时间戳（适用于短时间测量）。 - 不要频繁打印日志，避免影响性能。 - 在 Release 包中应关闭打点日志或使用日志上报机制。 ---