SparkStreaming有哪几种方式消费Kafka中的数据,它们之间的区别是什么?

注意:目前spark3.0.0以上版本只有Direct模式。
总结:不同版本的offset存储位置
0-8 ReceiverAPI offset默认存储在:Zookeeper中
0-8 DirectAPI offset默认存储在:CheckPoint
手动维护:MySQL等有事务的存储系统
0-10 DirectAPI offset默认存储在:_consumer_offsets系统主题
手动维护:MySQL等有事务的存储系统