kafka-connect中consumer初始化

最新推荐文章于 2023-10-26 22:52:55 发布

转载最新推荐文章于 2023-10-26 22:52:55 发布 · 502 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/u/2371517/blog/967967

文章标签：

#大数据 #java #python

本文详细介绍了在Kafka的WorkerSinkTask.java文件中createConsumer()方法的配置过程。其中包括了消费者组ID、自动提交offset设置、重置offset位置等关键参数的设定方式，并指定了用于序列化的具体类。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

在WorkerSinkTask.java的createConsumer()方法中：

Map<String, Object> props = new HashMap<>();

        props.put(ConsumerConfig.GROUP_ID_CONFIG, "connect-" + id.connector());   # consumer-group-id
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,
                Utils.join(workerConfig.getList(WorkerConfig.BOOTSTRAP_SERVERS_CONFIG), ","));
        props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");   # 自动提交offset
        props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");   # 重置offset的位置
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.ByteArrayDeserializer");
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.ByteArrayDeserializer");

        props.putAll(workerConfig.originalsWithPrefix("consumer."));

转载于:https://my.oschina.net/u/2371517/blog/967967