【flink状态管理（四）】MemoryStateBackend的实现-优快云博客

本文链接：https://blog.youkuaiyun.com/hiliang521/article/details/136079532

本文详细介绍了如何在ApacheFlink中基于MemoryStateBackend创建KeyedStateBackend、OperatorStateBackend以及CheckpointStorage的过程，包括状态初始化、创建状态和存储机制，以及与FsStateBackend和RocksDBStateBackend的区别。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

1.基于MemoryStateBackend创建KeyedStateBackend
- 1.1. 状态初始化
- 1.2. 创建状态
2. 基于MemoryStateBackend创建OperatorStateBackend
3.基于MemoryStateBackend创建CheckpointStorage

在Flink中，默认的StateBackend实现为MemoryStateBackend，本文以MemoryStateBackend为例说明StateBackend的设计与实现。

本文介绍MemoryStateBackend中如下三个主要组件的创建过程：

HeapKeyedStateBackend

OperatorStateBackend

MemoryBackendCheckpointStorage

FsStateBackend和RocksDBStateBackend这两种状态后端存储的实现，功能和MemoryStateBackend类似，区别在于内部创建的KeyedStateBackend和CheckpointStorage。

1.基于MemoryStateBackend创建KeyedStateBackend

1.1. 状态初始化

AbstractStreamOperator.keyedStatedBackend()方法定义了创建和初始化KeyedStatedBackend的逻辑，具体如下。

protected <K> AbstractKeyedStateBackend<K> keyedStateBackend(
   TypeSerializer<K> keySerializer,
   String operatorIdentifierText,
   PrioritizedOperatorSubtaskState prioritizedOperatorSubtaskStates,
   CloseableRegistry backendCloseableRegistry,
   MetricGroup metricGroup) throws Exception {
   
   
   if (keySerializer == null) {
   
   
      return null;
   }
   String logDescription = "keyed state backend for " + operatorIdentifierText;
   //1. 
   TaskInfo taskInfo = environment.getTaskInfo();
   final KeyGroupRange keyGroupRange = 
       KeyGroupRangeAssignment.computeKeyGroupRangeForOperatorIndex(
      taskInfo.getMaxNumberOfParallelSubtasks(),
      taskInfo.getNumberOfParallelSubtasks(),
      taskInfo.getIndexOfThisSubtask());
   // 确保恢复状态过程中构建的数据流被关闭
   CloseableRegistry cancelStreamRegistryForRestore = new CloseableRegistry()