spring kafka consumer 提升并行度

本文探讨如何在Spring Kafka中优化Consumer的并行度,强调并行线程数量不应超过partitions的数量,以确保高效的消息消费。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

spring kafka Concurrent 提升并行线程,但是不要超过 partitions 的大小!

<?xml version="1.0" encoding="UTF-8"?>

<beans xmlns="http://www.springframework.org/schema/beans"
     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
     xmlns:context="http://www.springframework.org/schema/context"
     xsi:schemaLocation="http://www.springframework.org/schema/beans
         http://www.springframework.org/schema/beans/spring-beans.xsd
         http://www.springframework.org/schema/context
         http://www.springframework.org/schema/context/spring-context.xsd">
    
<!-- 定义consumer的参数 -->
     <bean id="consumerProperties" class="java.util.HashMap">
      <constructor-arg>
      <map>
    <entry key="bootstrap.servers" value="${kafka.brokers}"/>
    <entry key="group.id" value="0"/>
    <entry key="enable.auto.commit" value="true"/>
    <entry key="auto.commit.interval.ms" value="1000"/>
    <entry key="session.timeout.ms" value="15000"/>
    <entry key="key.deserializer" value="org.apache.kafka.common.serialization.IntegerDeserializer"/>
    <entry key="value.deserializer" value="org.apache.kafka.common.serialization.StringDeserializer"/>
    <entry key="request.required.acks" value="1"/>
   
      </map>
      </constructor-arg>
     </bean>
     
     <!--  <bean  class="org.springframework.kafka.config.ConcurrentKafkaListenerContainerFactory" >
      <property name="concurrency" value="3"></property>
     </bean>   -->
     <!-- 创建consumerFactory bean -->
     <bean id="consumerFactory" class="org.springframework.kafka.core.DefaultKafkaConsumerFactory">
      <constructor-arg>
      <ref bean="consumerProperties"/>
      </constructor-arg>
     </bean>
     <!-- 消费者容器配置信息 -->
     
     <bean id="containerProperties" class="org.springframework.kafka.listener.config.ContainerProperties">
      <constructor-arg value="risk_event"/>
      <property name="messageListener" ref="messageListernerConsumerService"/>
     </bean>
     
      <bean id="messageListenerContainer" class="org.springframework.kafka.listener.ConcurrentMessageListenerContainer" init-method="doStart">
      <constructor-arg ref="consumerFactory"/>
      <constructor-arg ref="containerProperties"/>
        <property name="concurrency" value="3"></property>
     </bean>  


</beans>
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值