kafka消息系统-Net下Confluent.Kafka 参数解释

最新推荐文章于 2025-03-02 08:10:55 发布

原创最新推荐文章于 2025-03-02 08:10:55 发布 · 5.5k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #参数

消息系统kafka 专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了使用Confluent.Kafka消费数据时需要设置的四个关键参数：group.id、bootstrap.servers、auto.commit.interval.ms和auto.offset.reset，并解释了这些参数的具体含义及应用场景。

在使用Confluent.Kafka消费数据的时候，有四个参数需要输入：

    { "group.id", "test-consumer-group" },
{ "bootstrap.servers", "localhost:9092" },
      { "auto.commit.interval.ms", 5000 },
      { "auto.offset.reset", "earliest" }

这里分别解释下他们的含义：
group.id 消费者分组id
同一Topic的一条消息只能被同一个Consumer Group内的一个Consumer消费，但多个Consumer Group可同时消费这一消息。这是Kafka用来实现一个Topic消息的广播（发给所有的Consumer）和单播（发给某一个Consumer）的手段，一个Topic可以对应多个Consumer Group。如果需要实现广播，只要每个Consumer有一个独立的Group就可以了。要实现单播只要所有的Consumer在同一个Group里。用Consumer Group还可以将Consumer进行自由的分组而不需要多次发送消息到不同的Topic。

bootstrap.servers：kafka集群消费地址
auto.commit.interval.ms：consumer向zookeeper提交offset的频率，单位是毫秒
auto.offset.reset：具体参数含义如下：
earliest
当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费
latest
当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据
none
topic各分区都存在已提交的offset时，从offset后开始消费；只要有一个分区不存在已提交的offset，则抛出异常
详细每个auto.offset.reset参数参考下面的blog：
https://blog.youkuaiyun.com/lishuangzhe7047/article/details/74530417