Flink-Checkpoint源码详解

Flink chcekpoint作为flink中最重要的部分，是flink精准一次性的重要保证，可以这么说flink之所以这么成功和她的checkpoint机制是离不开的。

之前大概学习了一下flink的checkpoint源码，但是还是有点晕乎乎的，甚至有点不理解我们作业中设置的checkpoint配置flink是如何读取到的，并且他是如何往下传播的。

1.代码中的checkpoint配置

这次我详细屡了一下，方便我们更好理解checkpoint，下面我们先看代码中我们一般是如何配置flink checkpoint的：

 // TODO 1. 环境准备
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(4);

        // TODO 2. 状态后端设置
        env.enableCheckpointing(3000L, CheckpointingMode.EXACTLY_ONCE);
        env.getCheckpointConfig().setCheckpointTimeout(30 * 1000L);
        env.getCheckpointConfig().setMinPauseBetweenCheckpoints(3000L);
        env.getCheckpointConfig().enableExternalizedCheckpoints(
                CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION
        );
        env.setRestartStrategy(RestartStrategies.failureRateRestart(
                3, Time.days(1), Time.minutes(1)
        ));
        env.setStateBackend(new HashMapStateBackend());
        env.getCheckpointConfig().setCheckpointStorage(
                "hdfs://hadoop102:8020/ck"
        );
       
        中间的业务代码省略

        // TODO 3. 启动任务
        env.execute();

在这里我们可以看到checkpoint的相关配置是调用streamExecutionEnvironment的各种方法配置，那我们代码中的checkpoint配置env肯定是拿到了

点进enableCheckpointing()方法中可以看到我们配置的checkpint相关参数被streamExecutionEnvironment的一个成员变量checkpointCfg获取到了

 所以下面我们只需要盯着这个checkpointCfg是怎么传到下面的就可以了，下面我们从作业的起点env.execute()方法往下走,下一步flink就要把我们的作业转换成streamGraph了

 这个方法中调用了getStreamGraph方法，生成作业对应的streamGraph

2.StreamGraph中的checkpoint配置 

上一步我们看到了env.execute(jobName)方法，我们看到了他的方法中调用了getStreamGraph方法，这个方法就是生成StreamGraph的，从下面这个图中我们可以看到首先它利用了getStreamGraphGenerator生成StreamGraphGenerator,然后根据generator生成streamGraph

 private StreamGraphGenerator getStreamGraphGenerator() {
        if (transformations.size() <= 0) {
            throw new IllegalStateException(
                    "No operators defined in streaming topology. Cannot execute.");
        }

        final RuntimeExecutionMode executionMode = configuration.get(ExecutionOptions.RUNTIME_MODE);

        return new StreamGraphGenerator(transformations, config, checkpointCfg, getConfiguration())
                .setRuntimeExecutionMode(executionMode) //设置执行模式，流式或者批处理
                .setStateBackend(defaultStateBackend)  //设置状态后端
                .setSavepointDir(defaultSavepointDirectory)  //设置checkpoint文件夹
                .setChaining(isChainingEnabled) //是否开启chaining
                .setUserArtifacts(cacheFile)  //设置用户jar包
                .setTimeCharacteristic(timeCharacteristic)  //设置时间语义
                .setDefaultBufferTimeout(bufferTimeout);  //设置buffer超时时间
    }

从这个方法体中我们可以看到checkpointCfg被当做参数传给了streamGraphGenerator,并且他还配置了checkpoint和状态后端的相关参数

public StreamGraph generate() {
        //checkpointCfg和savepoint的配置被当做参数传给streamGraph
        streamGraph = new StreamGraph(executionConfig, checkpointConfig, savepointRestoreSettings);
        shouldExecuteInBatchMode = shouldExecuteInBatchMode(runtimeExecutionMode);
        configureStreamGraph(streamGraph);

        alreadyTransformed = new HashMap<>();

        //转换算子，将env的成员变量transformations中的算子遍历出来，塞到streamGraph中
        for (Transformation<?> transformation : transformations) {
            transform(transformation);
        }

        for (StreamNode node : streamGraph.getStreamNodes()) {
            if (node.getInEdges().stream().anyMatch(this::shouldDisableUnalignedCheckpointing)) {
                for (StreamEdge edge : node.getInEdges()) {
                    edge.setSupportsUnalignedCheckpoints(false);
                }
            }
        }

        final StreamGraph builtStreamGraph = streamGraph;

        alreadyTransformed.clear();
        alreadyTransformed = null;
        streamGraph = null;

        return builtStreamGraph;
    }

在streamGraphGenerator的generate()方法中我们可以看到checkpointCfg作为参数传给了streamGraph，这样streamGraph就拿到了我们的checkpoint配置了

3.JobGraph的checkpoint配置

下面我们先返回streamExecutionEnvironment的execute方法，下面我们要看的是在Jobgraph生产过程中，checkpoint配置是如何传递的，从env.execute()方法经过一系列的方法跳转，最终我们可以看到生成Jobgraph的方法是streamGraph.getJobGraph()

这个方法中调用 StreamingJobGraphGenerator.createJobGraph方法 

这个方法中首先创建了一个StreamingJobGraphGenerator.，然后调用其createJobGraph方法 

 然后我们详细看一下createJobGraph方法

private JobGraph createJobGraph() {
        preValidate();  //预检查checkpoint是否开始等属性
        jobGraph.setJobType(streamGraph.getJobType());

        jobGraph.enableApproximateLocalRecovery(
                streamGraph.getCheckpointConfig().isApproximateLocalRecoveryEnabled());

        // Generate deterministic hashes for the nodes in order to identify them across
        // submission iff they didn't change.
        Map<Integer, byte[]> hashes =
                defaultStreamGraphHasher.traverseStreamGraphAndGenerateHa