本文探讨了在Kafka中增加分区后，正在运行的Spark任务数据接收量减少的问题。原因是Spark仅维护原有分区的偏移量，忽略新增分区。解决办法是清除Spark检查点并重启任务。
场景： kafka原有两个分区，添加一个分区后，一直运行的实时的spark任务 数据减少约3分之一
分析： spark 将kafka 的offsite维护在checkpoint 里面，当spark任务运行的时候，给kafka添加新的分区，原来的checkpoint只维护原来的两个分区的 offsite,新的分区的offsite 无法维护（checkpoint 只在第一次创建的时候，创建新offsite,以后只是维护）
解决方法： 删除spark的checkpoint 重新启动程序
通过查看日志可知（红色箭头为删除checkpoint前后的数据）：
删除前 spark 只接收 kafka 两个partion的数据；删除后 接收三个partion的数据
总结：kafka的分区一定要在创建topic的时候设置好，要不后续重设很麻烦
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
