然后我们再来看,检查点的概念,这里主要有上面几点
要知道比如上面,处理数据,1234567数据,even是偶数,odd是奇数.
这里检查点要存的,不能存储计算的中间状态,他要存,比如某个数据计算完的一个状态,
正好是处理完某个数据的,状态,比如,数据5,在sum_even这里正好计算出2+4 = 6来.
然后sum_odd正好计算出:1+3+5 = 9来...这样的状态,并且存的时候,这个时候虽然5已经计算完了,但是也会在source端存一下,5 这个偏移量对吧,下次,要从5这个数据,开始恢复对吧.
这个过程可以看到是由jobManager来完成的.