sparkstreaming消费kafka如何保证输出结果只会产生一次

问题：

sparkstreaming消费kafka如何保证输出结果只会产生一次

解决方案：

1.自己实现commitsync方法 ，这个方法运行时毫秒级

2.每次消费完之后将offset保存到hdfs或本地，启动的时候读这个文件并且加入新增的partition offset即可

但是！上面的方案还是会出现问题。。。

因为入库操作和commitc方法不是一个原子操作。

所以程序停止时可能出现commitsync方法未完成或hdfs文件未写完..虽然概率很小。。

为了真正的解决上述问题，唯一的最合适的方案:

*****

将offset信息同结果数据一起入库，保证是一个原子操作，这样就万无一失了

*****