TCL大数据面试题及参考答案

Flink 的 checkpoint

Flink 的 checkpoint 是一种用于实现容错和状态一致性的机制 。

• Checkpoint 的目的与重要性：在流处理中，由于数据是持续不断地产生和处理的，一旦出现故障，如机器宕机、网络故障等，可能会导致数据丢失和计算结果不准确。Checkpoint 的目的就是定期地对作业的状态进行快照保存，以便在出现故障时能够从最近的一次 checkpoint 恢复作业，从而保证数据的准确性和处理的连续性。它对于确保长时间运行的流处理作业的可靠性和稳定性非常重要。
• 实现原理：Flink 的 checkpoint 是基于分布式快照算法实现的。在作业运行过程中，Flink 会定期地触发 checkpoint 操作，将作业的所有状态，包括算子的状态、连接状态等，以一种高效的方式保存到持久化存储中，如 HDFS 等。在进行 checkpoint 时，Flink 会暂停数据的处理，对整个作业的状态进行一致性快照，然后再恢复数据处理。这个过程对于外部数据源和输出端是透明的，不会影响数据的正常流动和处理。