springboot使用@KafkaListener监听多个kafka配置_@kafkalistener可以有多个吗

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

  sasl.jaas.config: xxxx

2号kafka配置

test2:
bootstrap-servers: xxxx:xxxx,xxxx:xxxx,xxxx:xxxx
consumer:
group-id: xxx
sasl.mechanism: xxxx
security.protocol: xxxx
sasl.jaas.config: xxxx

3. 容器工厂配置

package com.zhdx.modules.backstage.config;

import com.google.common.collect.Maps;

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.common.config.SaslConfigs;
import org.apache.kafka.common.serialization.StringDeserializer;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.cloud.context.config.annotation.RefreshScope;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.kafka.annotation.EnableKafka;
import org.springframework.kafka.config.ConcurrentKafkaListenerContainerFactory;
import org.springframework.kafka.config.KafkaListenerContainerFactory;
import org.springframework.kafka.core.ConsumerFactory;
import org.springframework.kafka.core.DefaultKafkaConsumerFactory;
import org.springframework.kafka.listener.ConcurrentMessageListenerContainer;

import java.util.Map;

/**

• kafka监听容器工厂配置

• 拓展其他消费者配置只需配置指定的属性和bean即可
  */
  @EnableKafka
  @Configuration
  @RefreshScope
  public class KafkaListenerContainerFactoryConfig {

  /**

  • test1 kafka配置
    */
    @Value(“${kafka.test1.bootstrap-servers}”)
    private String test1KafkaServerUrls;

  @Value(“${kafka.test1.consumer.group-id}”)
  private String test1GroupId;

  @Value(“${kafka.test1.consumer.sasl.mechanism}”)
  private String test1SaslMechanism;

  @Value(“${kafka.test1.consumer.security.protocol}”)
  private String test1SecurityProtocol;

  @Value(“${kafka.test1.consumer.sasl.jaas.config}”)
  private String test1SaslJaasConfig;
  /**

  • test2 kafka配置
    */
    @Value(“${kafka.test2.bootstrap-servers}”)
    private String test2KafkaServerUrls;

  @Value(“${kafka.test2.consumer.group-id}”)
  private String test2GroupId;

  @Value(“${kafka.test2.consumer.sasl.mechanism}”)
  private String test2SaslMechanism;

  @Value(“${kafka.test2.consumer.security.protocol}”)
  private String test2SecurityProtocol;

  @Value(“${kafka.test2.consumer.sasl.jaas.config}”)
  private String test2SaslJaasConfig;

  /**

  • 默认消费者配置
    */
    @Value(“${kafka.default-consumer.enable-auto-commit}”)
    private boolean enableAutoCommit;

  @Value(“${kafka.default-consumer.poll-timeout}”)
  private int pollTimeout;

  @Value(“${kafka.default-consumer.auto.offset.reset}”)
  private String autoOffsetReset;

  @Value(“${kafka.default-consumer.session.timeout.ms}”)
  private int sessionTimeoutMs;

  @Value(“${kafka.default-consumer.request.timeout.ms}”)
  private int requestTimeoutMs;

  /**

  • test1消费者配置
    */
    public Map<String, Object> test1ConsumerConfigs() {
    Map<String, Object> props = getDefaultConsumerConfigs();
    // broker server地址
    props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, test1KafkaServerUrls);
    // 消费者组
    props.put(ConsumerConfig.GROUP_ID_CONFIG, test1GroupId);
    // 加密
    props.put(SaslConfigs.SASL_MECHANISM, test1SaslMechanism);
    props.put(“security.protocol”, test1SecurityProtocol);
    // 账号密码
    props.put(SaslConfigs.SASL_JAAS_CONFIG, test1SaslJaasConfig);
    return props;
    }

  /**

  • test2消费者配置
    */
    public Map<String, Object> test2ConsumerConfigs() {
    Map<String, Object> props = getDefaultConsumerConfigs();
    // broker server地址
    props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, test2KafkaServerUrls);
    // 消费者组
    props.put(ConsumerConfig.GROUP_ID_CONFIG, test2GroupId);
    // 加密
    props.put(SaslConfigs.SASL_MECHANISM, test2SaslMechanism);
    props.put(“security.protocol”, test2SecurityProtocol);
    // 账号密码
    props.put(SaslConfigs.SASL_JAAS_CONFIG, test2SaslJaasConfig);
    return props;
    }

  /**

  • 默认消费者配置
    */
    private Map<String, Object> getDefaultConsumerConfigs() {
    Map<String, Object> props = Maps.newHashMap();
    // 自动提交（按周期）已消费offset 批量消费下设置false
    props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, enableAutoCommit);
    // 消费会话超时时间(超过这个时间consumer没有发送心跳,就会触发rebalance操作)
    props.put(ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG, sessionTimeoutMs);
    // 消费请求超时时间
    props.put(ConsumerConfig.REQUEST_TIMEOUT_MS_CONFIG, requestTimeoutMs);
    // 序列化
    props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
    props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
    // 如果Kafka中没有初始偏移量，或者服务器上不再存在当前偏移量（例如，因为该数据已被删除）自动将该偏移量重置成最新偏移量
    props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, autoOffsetReset);
    return props;
    }

  /**

  • 消费者工厂类
    */
    public ConsumerFactory<String, String> initConsumerFactory(Map<String, Object> consumerConfigs) {
    return new DefaultKafkaConsumerFactory<>(consumerConfigs);
    }

  public KafkaListenerContainerFactory<ConcurrentMessageListenerContainer<String, String>> initKafkaListenerContainerFactory(
  Map<String, Object> consumerConfigs) {
  ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<>();
  factory.setConsumerFactory(initConsumerFactory(consumerConfigs));
  // 是否开启批量消费
  factory.setBatchListener(false);
  // 消费的超时时间
  factory.getContainerProperties().setPollTimeout(pollTimeout);

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-ziQJ7kAJ-1713325693856)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！