记一次kafka消费能力优化

【Kafka】怎么解决Kafka消费者消费堆积问题? 本文针对Kafka消费堆积问题,分析了原因,并提供了重制消费点位、增加消费者数量、优化消费能力等解决方案。以Java为例,给出了相应的代码示例。在实际应用中,应根据具体情况选择合适的解决方案,并注意监控和调整,以确保Kafka系统的稳定性和性能。 阅读详情
记一次kafka消费能力优化

之前的代码:

有多个source:多个kafka,一个ES

1.消费者数据接口

interface Source {
    List<String> poll();
}
  • 1
  • 2
  • 3

2.impl

class KafkaSource implement Source {

  List<String> poll() {
    ConsumerRecords<String,String> records = kafkaConsumer.poll(500);

    List<String> dataList = new ArrayList(); //linkedlist是否要好点
    for(ConsumerRecord record : records ) {
        String data = Adaptor.adaptor(record);
        dataList.add(data);
    }
    return dataList ;
  }

}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

3.实际消费者

class Server {
    Source source;

    public Server(Source source) {
        this.source = source;
    }

    void run() {
        while(true) {
            List<String> dataList = source.poll();
            for(String data : dataList) {
                doSomething(data);
            }
        }
    }
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16

消费能力:10000条/s

1.消费者数据接口


改造(使用Vistor模式)

public interface Source {

    void consume(SourceVistor sourceVistor);

    interface SourceVistor{
        void accept(Event event);
    }
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

2.impl

class KafkaSource implement Source {

  public void consume(final SourceVistor sourceVistor) {
        executorService.submit(new Runnable() {
            @Override
            public void run() {
            while (true) {
                ConsumerRecords<String, String> consumerRecords = consumer.poll(pollMillions);
                for (ConsumerRecord<String, String> record : consumerRecords) 
                    {
                    sourceVistor.accept(Adaptor.adapt(record.value()));
                    }
                    consumer.commitAsync();
                }
            }
        });
    }
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18

3.实际消费者

public class Server {
    @Override
    public void start() {
        //开始消费kafka
        for (Source source : sources) {
            source.consume(new MatchAccepter());
        }
    }}

    private class MatchAccepter implements Source.SourceVistor{
        public void accept(String data) {
            doSomething(data);
        }
    }
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15

4.修改kafka消费配置,指定消费数据量

  <!-- 消费者通用配置 -->
  <util:properties id="commonConsumerConfig">
    <prop key="enable.auto.commit">${kafka.consumer.auto.commit.enable:false}</prop>
    <prop key="request.timeout.ms">${kafka.consumer.request.timeout.ms:50000}</prop>
    <prop key="auto.commit.interval.ms">${kafka.consumer.auto.commit.interval.ms:1000}</prop>
    <prop key="max.partition.fetch.bytes">${kafka.consumer.max.partition.fetch.bytes:1000000}</prop>
    <prop key="auto.offset.reset">${kafka.consumer.auto.offset.reset:latest}</prop>
    <prop key="heartbeat.interval.ms">${kafka.consumer.heartbeat.interval.ms:25000}</prop>
    <prop key="session.timeout.ms">${kafka.consumer.session.timeout.ms:30000}</prop>
    <prop key="key.deserializer">org.apache.kafka.common.serialization.StringDeserializer</prop>
    <prop key="value.deserializer">org.apache.kafka.common.serialization.StringDeserializer</prop>
  </util:properties>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

消费能力: 70000/s


总结: 
可以看出,之前的方式,读取出来再封装进List再循环读取这种方式非常简单,也是第一时间想到的,但是效率比后者访问者模式低了一个数量级(可能也和kafka配置有关.)改了之后,只需要读取一次就消费,逻辑上来讲,减少了2/3的浪费!!! 
对于kafka这种我们监控数据,每秒钟可能10W条数据,因此一点点地方都要注意,何况这个地方是重中之重!改了之后,性能立马飙升!

(内存2G) 
最后:Vistor模式很不错!

java 多线程消费kafka_使用多线程增加kafka消费能力 前提:本例适合那些没有顺序要求的消息主题。kafka通过一系列优化,写入和读取速度能够达到数万条/秒。通过增加分区数量,能够通过部署多个消费者增加并行消费能力。但还是有很多情况下,某些业务的执行速度实在是太慢,这个时候我们就要用到多线程去消费,提高应用机器的利用率,而不是一味的给kafka增加压力。使用Spring创建一个kafka消费者是非常简单的。我们选择的方式是继承kafka的Shutdow... 阅读详情

相关推荐

kafka消费模式及消费问题的处理

本文介绍了Kafka消息消费的核心机制和处理积压问题的方案。主要内容包括:1)Kafka消费流程,包含点对点和发布订阅两种模式;2)消费者组内partition分配规则,每个partition只能被同组的一个消费者消费;3)消息积压的三大原因(生产快、消费慢、处理失衡)及解决方案(增加partition/消费者、提高批次量、架构升级);4)消息过期失效的规避方法;5)使用注意事项,如合理设置分区数等。通过邮局和食堂打饭等生动类比,帮助理解Kafka的分区机制和顺序保证特性。

weixin_50055999的博客 1746

kafka提高消费能力

因业务约束,发送到kafka的单条消息的大小达到了125k。并且存在远程调用瓶颈,目前阶段无法解耦。在此条件下,系统上了生产第一天就遇到了消费瓶颈,并且10分钟积压消息达到了100w+,为此记录问题发现过程以及解决方案。

weixin_43950558的博客 3129

Clickhouse实时消费Kafka

Clickhouse一、背景介绍二、操作流程三、一些概念四、一些问题 一、背景介绍 这么做的好处有: 二、操作流程 三、一些概念 四、一些问题 1、StorageKafka (queue): Can’t get assignment. It can be caused by some issue with consumer group (not enough partitions?). Will keep trying 2、clickhouse DB::CSVRowInputFormat::readRow

scalad 6658

Kafka消费能力低(慢)的解决方案

背景 Kafka是当下应用非常广泛的分布式消息系统,每秒可以生产约25万消息(50 MB),每秒处理55万消息(110 MB)。当Consumer的效率跟不上时,容易出现rebalance,导致系统系统挂起。 思路 1、调整session.timeout.ms、max.poll.interval.ms等参数,使心跳保持更久 2、增加partition和consume...

DF的博客 5897

springboot + @KafkaListener 手动提交及消费能力优化

public class KonkaKafkaListener { private final static Logger LOGGER = LoggerFactory.getLogger(KonkaKafkaListener.class); @Autowired private RouterService routerService; @KafkaLi...

asd5629626的博客 3万+

使用多线程提升Kafka消费能力

在上述代码中,Kafka消费者线程类实现了Runnable接口,并在run()方法中执行了与之前相同的消费逻辑。上述代码创建了一个简单的Kafka消费者,订阅了名为"my-topic"的主题,并通过循环不断地消费消息。现在我们将通过多线程来提高消费能力。在上述代码中,我们创建了一个固定大小的线程池,其中包含4个线程。通过使用多线程,我们可以同时启动多个消费者线程,每个线程独立地从Kafka主题中消费消息,从而提高整体的消费能力和吞吐量。首先,我们需要创建一个Kafka消费者,并配置相应的参数。

CvhShell的博客 397

16-kafka消息数据积压,kafka消费能力不足怎么处理

题目:kafka消息数据积压,kafka消费能力不足怎么处理 答案: 1.提高生产者吞吐量 (1)buffer.memory:发送消息的缓冲区大小,默认值是32m,可以增加到64m (2)batch.size:默认是16k。如果batch设置太小,会导致频繁网络请求,吞吐量下降;如果batch太大,会导致一条消息需要等待很久才能被发送出去,增加网络延时 (3)linger.ms:这个值默认是0,意思是消息立即被发送。一般设置一个5-100ms。如果linger.ms设置的太小,会导致频繁网络请求,吞吐量下

huaxing_ba的博客 3094

中兴OLT配置实战:从零开始,手把手教你完成一个HGU的完整业务开通(含DBA模板、限速与远程升级)

本文详细介绍了中兴OLT配置实战,从零开始手把手教你完成HGU的完整业务开通,包括DBA模板设计、限速与远程升级等关键步骤。通过实际案例和详细命令,帮助工程师快速掌握GPON网络配置技巧,提升运维效率。

weixin_30599769的博客 353

记一次Kafka消费能力低,重新分配节点问题优化

         目前在做一个车联网APP项目。 项目中历史轨迹的处理模式为kafka推送给我车辆报文,然后我自行判断车辆熄火点火来进行历史轨迹行程的保存。       项目开始车辆较少,每次kafka推送到我的后端,然后我进行处理轨迹开始的插入和轨迹结束的保存就行了,但是最近发现生产环境的kafka老是出现这样的错误:2018-07-12 00:06:59.910 [messageListene...

gpdsjqws的博客 8848

Playwright与MCP协议结合:AI驱动的智能Web自动化测试实践

Web自动化测试是现代软件开发流程中保障产品质量的关键环节,其核心原理是通过程序模拟用户操作,对Web应用进行功能验证。传统自动化测试工具如Selenium和Playwright虽然提供了强大的API,但脚本编写和维护仍需较高的编程技能。随着AI技术的发展,智能测试成为新的趋势,它通过自然语言理解和自动化执行,显著降低了测试创建门槛。Model Context Protocol(MCP)作为一种连接AI模型与外部工具的开放协议,为自动化测试带来了“智能大脑”。通过将MCP与Playwright结合,测试人员

aoe41606的博客 607

使用python获取同花顺免费版和同花顺远航版自选股数据用于量化交易

在做量化交易时,有时需要在盘中实时监控同花顺自选股的数量,以便灵活地自定义提醒、捕捉买卖时点等。那么,如何使用python获取同花顺自选股数据呢?

tzzqn2008的专栏 3689

记一次kafka消费延迟造成的生产问题

背景介绍 今天有同事找我,说他那边遇到kafka消费延迟问题,某条消息从生产者发送后,再到消费者收到,经过了几分钟的时间,之后又恢复正常,时不时会遇到一次这样的问题。 简单分析 当我一听到消费延迟的问题,很自然的就想到了肯定消息阻塞造成的,所以我首先我们查看了消息队列的消费情况,发现当前并没有消息积压在kafka服务端,之后我们也确认了kafka集群很正常,没有出现任何异常现象。 进一步分析 虽然表面上看消息并没有积压,但凭借经验,我感觉还是这方面的问题,既然kafka服务端自身没有积压,那一定就是消费端自

自律使我自由 2476

基于Java的高校学生信息管理系统的设计与实现(论文+源码)

可以对本系统的数据进行良好的封装,Java可以对不想被访问的数据进行良好的隐藏,具备平台无关性,可移植,更加可靠与安全,具备多线程支持,进行网络交互更容易。它支持本系统的B/S模式。开发效益方面,本系统一旦开发成功并且面向社会,就会让大多数的学生教师体会到便利办公的乐趣,随之促进提高本系统的使用率和经济利润,所以在经济方面,对于零成本开发且高利润的学生管理系统是可行的。学生可以在学生端进行选课,查看自己的成绩,教师可以在教师端查看所任课程的选课情况,对学生成绩进行录入,对所任的课程进行结课等操作。

2402_82389843的博客 1094

Kafka消费者能力扩展指南

在当今大数据时代,消息队列已经成为处理高并发、高吞吐量数据流的重要工具。Kafka作为一款高性能、可扩展的消息队列系统,在处理大规模数据流时,其消费者的能力扩展显得尤为重要。以下是一个与Kafka知识点之消费者能力扩展相关的场景问题。场景问题:假设我们正在开发一个实时数据分析平台,该平台需要从多个数据源实时收集数据,并对数据进行实时处理和分析。随着数据量的不断增长,原本的消费者在处理数据时开始出现瓶颈,导致数据处理延迟增加,甚至出现数据丢失的情况。

MoneyHacksPro的博客 1249

STM32CUBEMX | STM32L431RCT6的内部Flash操作

一、STM32CUBEMX配置 1、选择芯片型号: 2、配置时钟源 1、 如果选择使用外部高速时钟(HSE),则需要在System Core中配置RCC; 2、 如果使用默认内部时钟(HSI),这一步可以略过; 3、配置时钟树 STM32L4的最高主频到80M,所以配置PLL,最后使HCLK = 80Mhz即可: 4、代码生成设置 点击GENERATE CODE即可生成MDK-V5工程: 二、在MDK中编写、编译、下载用户代码 1、STM32内部Flash及HAL库API 查看所使用芯片的信息,

yongridada的博客 5570

【漆学军】MT4进阶到MT5速成之路(2)获取持仓

MT5在持仓获取上,要比MT4复杂些,分两部分,获取持仓和挂单采用了不同的方法。 一、获取持仓中的buy和sell单 int b=0;//获取buy单个数 int s=0;//获取sell单个数 double lot_total_buy=0;//获取持仓中buy单的总手数 double lot_total_sell=0;//获取持仓中sell单的总手数 for(int i=0; i<PositionsTotal(); i++) { ulong ticket=Positi

漆学军的编程笔记 1627

kafka消费能力优化解决方案

简介 由于项目中需要使用kafka作为消息队列,并且项目是基于spring-boot来进行构建的,所以项目采用了spring-kafka作为原生kafka的一个扩展库进行使用。先说明一下版本: spring-boot 的版本是1.4.0.RELEASE kafka 的版本是0.9.0.x 版本 spring-kafka 的版本是1.0.3.RELEASE 用过kafka的人都知道,对于使用...

一个天秤座的架构师 2万+

基于STM32、HAL库的 CH9102X USB转UART收发器 驱动程序设计

/ 或 UART_HWCONTROL_RTS_CTS。// 其他函数实现类似,使用HAL_UART_Transmit_IT, HAL_UART_Receive_IT等。UART_TXD <---> USARTx_RX (STM32接收)UART_RXD <---> USARTx_TX (STM32发送)* @param huart: UART句柄指针。* @param huart: UART句柄指针。* @param huart: UART句柄指针。* @param huart: UART句柄指针。

corlin6688的博客 506

kafka保证精确一次消费

一、消息传递语义: 三种,至少一次,至多一次,精确一次 1、at lest once:消息不丢,但可能重复 2、at most once:消息会丢,但不会重复 3、Exactly Once:消息不丢,也不重复。 保证消息不丢、消息不重复 消息不丢:副本机制+ack,可以保证消息不丢。 数据重复:brocker保存了消息之后,在发送ack之前宕机了,producer认为消息没有发送成功进行重试,导致数据重复。 数据乱序:前一条消息发送失败,后一条消息发送成功,前一条又重试,成功了,导致数据乱.

m0_61607827的博客 4505

安川机器人外部轴添加

本文详细介绍了如何在安川机器人本体上添加第7轴以及如何设置动作,本文以添加点焊枪为例进行讲解。

haier123888的博客 7895

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Python消费Kafka与优化

python使用kafka-python库消费kafka,消费能力一直上不去,原来是这样解决的...

分享不一样的技术,与你一起共同成长! 4420

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

Kafka 消息堆积与慢消费问题排查及优化实践

Kafka 消息堆积与慢消费问题的本质,是消费者处理能力与消息生产速率、参数配置之间的动态平衡被打破。本文通过真实案例揭示了max.poll.records与配置不当引发的连锁反应,以及如何通过参数调优、性能优化和监控体系建设实现系统性修复。核心启示理解 Kafka 消费者组协议(如 Rebalance 触发条件、offset 提交机制)是解决问题的基础任何配置调整需结合业务处理特性,通过压测验证而非经验主义建立 "监控 - 预警 - 响应" 闭环,是应对流量突增等不确定性的关键。

专注于 Java 后端架构、微服务、分布式、前端及 AI 领域的技术分享,是开发者获取硬核知识、交流实战经验的专业博客。 2381

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

Kafka 消费者读取数据

消费者不需要自行管理 offset(分组+topic+分区),系统通过 broker 将 offset 存放在本地。低版本通过 zk 自行管理。系统自行管理分区和副本情况。消费者断线后会自动根据上一次记录的 offset 去获取数据(默认一分钟更新一次 offset),同一个分组中的客户不能同时消费同一个分片。不同的 group 记录不同的 offset,这样不同程序读取同一个 topic 才不会因为 offset 互相影响。 一、消费者组 分区的所有权从一个消费者转移到另一个消费者,这样的行为称为

程序猿进阶 5403

Kafka 消费积压情况分析与优化策略

在 Kafka 中,消息从 Producer 发送到 Broker 后,会被存储在特定的 Partition 中。消费者组(Consumer Group)中的 Consumer 负责从这些 Partition 中拉取消息并进行处理。然而,在某些情况下,Consumer 可能无法及时处理所有消息,从而导致消息积压(Lag)。消息积压不仅会影响系统的实时性,还可能导致数据丢失或处理延迟。因此,理解如何监控和管理消费积压是 Kafka 运维中的一个重要课题。

用文字记录技术,用分享回馈社区,用坚持见证成长 1007
上一篇: kafka 效率优化
下一篇: kafka学习总结(处理多个consumer只消费topic数据一次)
王树民
博客等级 码龄10年 912粉丝 560原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值