HBase管理offset,解决kafka头越界或尾越界问题(HBase存储offset可以更换为Mysql、Redis、Zookeeper)
HBase管理offset,解决kafka头越界或尾越界问题(HBase存储offset可以更换为Mysql、Redis、Zookeeper什么是越界?头越界的原因尾越界的原因解决方案流程图代码实现调用方式举例什么是越界?越界包括头越界或尾越界。指的程序消费的是kafka offset不在kafka的队列里面,可能是数据过期或者kafka数据被清除###头越界的原因数据过期:指的是kafka中存储的数据会在一定时间内过期,比如数据的过期时间设置为7天。如果此时Spark、Flink、Java等程
原创
2020-07-03 11:34:11 ·
996 阅读 ·
1 评论