博客探讨了Kafka分区与Spark RDD分区的一一对应关系，指出在shuffle操作后这种对应被破坏。讨论了LocationStrategies，即Spark Executor与Kafka Partition的映射策略。文章还介绍了幂等输出在streaming任务中的重要性，提出了两种保存offset的方法：通过RDD checkpoint和使用Kafka的commitOffset API。offset被保存在Kafka的队列中以确保数据一致性。
kafka 分区和 rdd partition 一一对应, 但这种对应关系在 shuffle 操作后破坏
LocationStrategies: spark executor 和 kafka partition 的映射策略
streaming 任务需要在幂等输出后存储 offset, 方法:
(1) rdd checkpoint (X) : 该操作会附带 rdd 的 offset,
(2) 用 kafka 的 commitOffset api 提交, offset 保存在 kafka 的队列中
4024
460
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
扫一扫
