日志服务 kafka消息积压问题

原创

已于 2022-08-26 17:52:54 修改 · 861 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #java #mysql

于 2022-08-26 17:51:34 首次发布

整体流程：mysql---->maxwell------>maxwellkafkaproducer------>kafkabroker------->kafka消费者(listener)
------>落盘到日志库
问题原因：因为消费者存在瓶颈，造成数据大量积压

查看消费者的积压情况

./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group  defaultConsumerGroup

可以看到积压了8万多条，大概每秒积压1000条左右

GROUP                TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                                          HOST            CLIENT-ID
defaultConsumerGroup

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

leitingjun

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【经典面试题】消息队列Kafka 如果出现消息堆积了怎么办？解决Kafka消费速度慢，缓解/解决Kafka消息积压的问题

本本本添哥

06-04

摘要：针对Kafka消息堆积问题，建议采用多维度解决方案：首先排查生产端速度与消息格式异常；其次提升消费能力，包括增加消费者实例和优化消费代码；调整Kafka配置如分区数和日志保留策略；也可引入Flink等流计算框架加速处理。同时需加强监控预警，设立堆积量、消费速度等关键指标阈值告警。需注意增加分区可能影响数据有序性，且消费者数量不可超过分区数。

【kafka专栏】消费者组数据积压的查看与处理方法

字母哥博客

07-03

3232

消费者组数据积压的查看与处理方法

参与评论您还未登录，请先登录后发表或查看评论

如何有效检测与解决 Kafka 中的消息积压问题？

2401_89221704的博客

12-26

1200

消息积压是一个常见的性能问题，尤其是在高并发系统中。通过合理配置 Kafka 消费者、增加资源、优化消费者处理逻辑等方式，可以有效地解决消息积压问题。关键在于对lag指标的监控和对消息队列的实时监控，及时发现并解决积压问题。

kafka查看数据_Kafka 数据积压情况查看

梵法利亚的博客

03-01

2522

消息发送到LeaderA之后会更新LEO的值，Follower1和Fllower2也会实时拉取LeaderA中的消息来更新自己，HW就表示A、B、C三者同时达到的日志位移。由于B、C拉取A消息之间延时问题，所有HW必然不会与Leader的LEO相等，即LEO>=HW。消息堆积量：消息中间件服务端中所留存的消息与消费掉的消息之间的差值即为消息堆积量也称之为消费滞后量。LogEndOffset ：下一条将要被加入到日志的消息的位移。由于消息消费速度处理慢或是消费端故障会导致数据产生积压。LAG ：消息堆积量。

kafka-consumer-groups.sh命令查看Kafka消费者组的状态

最新发布

码不停歇的博客

04-24

455

kafka-consumer-groups.sh命令查看Kafka消费者组的状态。

kafka 积压消息查询

zoujian1991的博客

04-24

3294

在目录下，执行下面的脚本，查询kafka积压消息。

如何查看kafka的topic的消费者组有没有积压

manweizhizhuxia的博客

03-09

6739

如何查看kafka的topic的消费者组有没有积压

shell脚本查看kafka积压消息

Knowledge Archiving and Sharing

05-18

1万+

#!/bin/bash n_dir=`pwd` # 每次执行前，先降临时文件清空 >.x.log # 查看所有组，并挨个查看消费情况，将结果保存到文件 cd /opt/kafka/bin for i in `./kafka-consumer-groups.sh --bootstrap-server 192.168.1.99:9092 --list` do ./kafka-consumer-groups.sh --bootstrap-server 192.168.1.99:9092.

RocketMQ与kafka如何解决消息积压问题？

qq_39126115的博客

02-13

1099

消息积压问题简单来说，就是MQ存在了大量没法快速消费完的数据，造成消息积压的原因主要在于“进入的多，消费的少”，或者生产的速度过快，而消费速度赶不上，基于这一问题，我们主要介绍如何通过前期的开发设置去避免出现消息积压的问题。主要介绍两款产品RocketMQ和Kafka的解决方式，以及其差异，本质上的差异就是RocketMQ与Kafka之间的存储结构差异带来的，基本的处理思路还是怎么控制生产流量，并增加消费者的消费速度，以及Broker的扩容。

Kafka消息堆积问题排查

Diligence is the mother of success.

09-15

1592

背景业务架构图根据微服务重构：Mysql+DTS+Kafka+ElasticSearch解决跨表检索难题所描述，我们使用了Es解决微服务重构中遇到的Mysql库拆分问题，业务架构图如下所示：Kakfa消息堆积导致的数据一致性问题在下午14:15左右，收到用户反馈，短暂时间内，出现了业务数据一致性问题具体表现是：用户提交了一个页面操作，但是在查询接口里，没有返回最新的操作结果具体校验是：通过问题反...

Kafka生产调优实践。Kafka消息安全性、消息丢失、消息积压、保证消息顺序性

qq_44027353的博客

08-10

1089

Kafka是通过幂等性中单调递增的sequenceNumber来保证消息是顺序，因为是单调递增的，所以还能判断是否存在消息丢失一旦Kafka发现Producer传过来的SequenceNumber出现了跨越，那么就意味着中间有可能消息出现了丢失，就会往Producer抛出一个OutOfOrderSequenceException异常。再结合MessageQueue中的消息有序性，就能保证整体消息的消费顺序是有序的。此时，在消费者端，需要更多考虑的问题，就变成了消费重试机制造成的消息重复消费的问题。

Kafka分区消息积压排查指南

weixin_43180484的博客

06-04

2214

如果指定了消息key，那么消息会指定生产到hash(key)的分区中。消息生产是否指定key？

kafka消费积压问题排查小结

owisho_java的专栏

03-10

1172

kafka消费积压问题排查总结

kafka查看topic消息是否堆积

菜鸡的博客

02-10

868

说明消费者消费速度慢，消息在 Kafka 中积压。说明生产者速度快于消费者，消息持续堆积。工具，可以查看消费者组的偏移量（

Zabbix监控Kafka topic积压数据

yanggd1987的专栏

05-24

2422

Kafka Apache Kafka是一个分布式发布-订阅消息系统和一个强大的队列，可以处理大量的数据，并使您能够将消息从一个端点传递到另一个端点。 Kafka适合离线和在线消息消费。 Kafka消息保留在磁盘上，并在群集内复制以防止数据丢失。Kafka构建在ZooKeeper同步服务之上。它与Apache Storm和Spark非常好地集成，用于实时流式数据分析。需求虽然我们在生产环境中可以使用Kafka对业务进行解耦，但这并不意味着业务系统就高枕无忧了。消费者的消费速度是否能够匹配生产速度、过多的消

怎样解决Kafka出现数据积压问题？

zy1992As的博客

05-15

950

Kafka消费者消费数据的速度是非常快的，但如果由于处理Kafka消息时，由于有一些外部IO、或者是产生网络拥堵，就会造成Kafka中的数据积压(或称为数据堆积)。如果数据一直积压，会导致数据出来的实时性受到较大影响。

kafka的消息数据积压处理方案详解（两个方向）

ruiqu1650914788的博客

10-31

7225

通过架构图展示kafka的消息数据积压处理方案，两个原因，两个思路。

Kafka监控：消息堆积、消息延迟、以及如何处理