spark createDirectStream保存kafka offset(JAVA实现)
问题描述
最近使用Spark streaming处理kafka的数据,业务数据量比较大,就使用了KafkaUtils的createDirectStream()方式,此方法直接从kafka的broker的分区中读取数据,跳过了zookeeper,并且没有receiver,是spark的task直接对接kakfa
topic partition,能保证消息恰好一次语意,但是此种方式因为没有经过z
转载
2016-09-21 08:48:06 ·
3944 阅读 ·
2 评论