qq_40870024的博客

import com.google.common.collect.Lists; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.state.ListState; import org.apache.flink.api.common.state.ListStateDescriptor; import org.apache.flink.api.common.typeinfo.

数据处理语义的概念 **批处理：**批处理任务失败，支持replay重跑就可 **流处理：**需要机制能够保证任务出错或数据出错时能够保证数据是正确有效的。 批注 数据出现故障了(计算错误),还能进行恢复并重新计算,保证数据有效处理一次.在计算时:比如1+2+3+4+,在+5的时候报错,恢复后重新从+5开始计算,所以我们需要把中间结果通过checkpoint存起来在写出端,出现写入错误,重写时会出现重复,需要幂等写入或事务机制 数据处理语义的分类 At-least-Once 至少一次语义，允许重复 At-M