kafka auto.offset.reset值含义解释以及代码测试

本文深入解析Kafka订阅消费数据的过程及关键参数配置,包括bootstrap.servers、group.id、auto.commit.enable等,阐述了offset提交机制,确保消费数据不重复、不遗漏。

kafka订阅消费数据过程需要配置的常见参数有bootstrap.servers,group.id,auto.commit.enable,auto.offset.reset等参数(kafka 0.9+使用Java Consumer替代了老版本的scala Consumer)。

参数含义
(1)bootstrap.servers
在启动consumer时配置的broker地址的。 它配置的格式是:host1:port1;host2:port2…

(2)key.descrializer、value.descrializer

Message record 的key, value的反序列化类。

(3)group.id

用于表示该consumer想要加入到哪个group中。默认值是 “”。

(4)enable.auto.commit

Consumer 在commit offset时有两种模式:自动提交,手动提交。手动提交在前面已经说过。自动提交:是Kafka Consumer会在后台周期性的去commit。

默认值是true。

(4)auto.commit.interval.ms
自动提交间隔。范围:[0,Integer.MAX],默认值是 5000 (5 s)

(5)auto.offset.reset
这个配置项,是告诉Kafka Broker在发现kafka在没有初始offset,或者当前的offset是一个不存在的值(如果一个record被删除,就肯定不存在了)时,该如何处理。它有4种处理方式:

1) earliest:自动重置到最早的offset。

2) latest:看上去重置到最晚的offset。

<
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BigDataMLApplication

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值