SparkStreaming重复消费消息队列中的数据解决方案
SparkStreaming重复消费消息队列中的数据解决方案
问题:在E-MapReduce上使用SparkStreaming消费阿里云LogService(可以当作Kafka类似的消息队列来发送和消费数据,实际是类似ElasticSearch的数据库)中的数据时,每个batch都会消费到之前所有的数据。
如图:在向LogService中发送了16条数据后,每个match都能消费到所有的数据
代码...
原创
2019-09-30 12:10:37 ·
1193 阅读 ·
0 评论