flink keyDatastream中如何使用CheckpointedFunction

项目中使用场景:

经过keyby hash 分组后，需要读取每个实例中的state数据，并且还要支持checkpoint防止数据丢失，和算子scale后state数据的重新分配

 

第一步：实现CheckpointedFunction

 @Override
    public void snapshotState(FunctionSnapshotContext context) throws Exception {
        checkpointedState.clear();
        for (Tuple2<String, Integer> element : bufferedElements) {
            checkpointedState.add(element);
        }
    }

    @Override
    public void initializeState(FunctionInitializationContext context) throws Exception {
        ListStateDescriptor<Tuple2<String, Integer>> descriptor =
            new ListStateDescriptor<>(
                "buffered-elements",
                TypeInformation.of(new TypeHint<Tuple2<String, Integer>>() {}));

        checkpointedState = context.getOperatorStateStore().getListState(descriptor);

        if (context.isRestored()) {
            for (Tuple2<String, Integer> element : checkpointedState.get()) {
                bufferedElements.add(element);
            }
        }
    }

第二步：将context.getOperatorStateStore().getListState(descriptor) 替换成 context.getOperatorStateStore().getUnionListState(descriptor);

此目的是让所有的实例都拿到一份全量的State数据

第三步：根据key和设置的并发度计算当前实例有哪些State数据

计算公式:index=KeyGroupRangeAssignment.assignKeyToParallelOperator(key,128,parallelism)

只保留index和getRuntimeContext().getIndexOfThisSubtask()一致的数据，其他的清除