sparkStreaming关于kafka偏移量的管理
SparkStreaming使用checkpoint存在的问题及解决方案
sparkstreaming关于偏移量的管理
image
在 Direct DStream初始化的时候,需要指定一个包含每个topic的每个分区的offset用于让Direct DStream从指定位置读取数据。
offsets就是步骤4中所保存的offsets位置
读取并处理消息
处理完之后存储结果数据
用虚线圈存储和提交...
转载
2019-08-26 21:37:08 ·
1350 阅读 ·
0 评论