上面Flink原理与实现的文章中,有引用word count的例子,但是都没有包含状态管理。也就是说,如果一个task在处理过程中挂掉了,那么它在内存中的状态都会丢失,所有的数据都需要重新计算。从容错和消息处理的语义上(at least once, exactly once),Flink引入了state和checkpoint。
首先区分一下两个概念,state一般指一个具体的task/operator的状态。而checkpoint则表示了一个Flink Job,在一个特定时刻的一份全局状态快照,即包含了所有task/operator的状态。
Flink通过定期地做checkpoint来实现容错和恢复。
本文探讨了Flink中的状态管理和checkpoint机制,解释了如何通过定期创建checkpoint来实现任务状态的持久化,确保在故障发生时能够进行快速恢复,避免数据的重复计算。
612

被折叠的 条评论
为什么被折叠?



