kafka订阅消费数据过程需要配置的常见参数有bootstrap.servers,group.id,auto.commit.enable,auto.offset.reset等参数(kafka 0.9+使用Java Consumer替代了老版本的scala Consumer)。
参数含义
(1)bootstrap.servers
在启动consumer时配置的broker地址的。 它配置的格式是:host1:port1;host2:port2…
(2)key.descrializer、value.descrializer
Message record 的key, value的反序列化类。
(3)group.id
用于表示该consumer想要加入到哪个group中。默认值是 “”。
(4)enable.auto.commit
Consumer 在commit offset时有两种模式:自动提交,手动提交。手动提交在前面已经说过。自动提交:是Kafka Consumer会在后台周期性的去commit。
默认值是true。
(4)auto.commit.interval.ms
自动提交间隔。范围:[0,Integer.MAX],默认值是 5000 (5 s)
(5)auto.offset.reset
这个配置项,是告诉Kafka Broker在发现kafka在没有初始offset,或者当前的offset是一个不存在的值(如果一个record被删除,就肯定不存在了)时,该如何处理。它有4种处理方式:
1) earliest:自动重置到最早的offset。
2) latest:看上去重置到最晚的offset。
<
本文深入解析Kafka订阅消费数据的过程及关键参数配置,包括bootstrap.servers、group.id、auto.commit.enable等,阐述了offset提交机制,确保消费数据不重复、不遗漏。
最低0.47元/天 解锁文章
6565

被折叠的 条评论
为什么被折叠?



