Flink State backend状态后端

最新推荐文章于 2024-10-26 10:58:27 发布

小枫@码

最新推荐文章于 2024-10-26 10:58:27 发布

阅读量780

点赞数 6

分类专栏： Flink 文章标签： flink 大数据

本文链接：https://blog.youkuaiyun.com/wsq1011/article/details/135842263

版权

本文介绍了Flink状态后端的演变，从v1.12到v1.14，MemoryStateBackend、FsStateBackend、RocksDBStateBackend被弃用，新版本引入HashMapStateBackend和EmbeddedRocksDBStateBackend。检查点作为有状态流应用的关键，用于数据恢复。状态后端分为HashMap和RocksDB两类，前者将状态保留在内存，适合小状态，后者利用RocksDB提供磁盘存储，适合大状态。选择状态后端需权衡处理性能和应用扩展性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

概述

Flink在v1.12到v1.14的改进当中，其状态后端也发生了变化。老版本的状态后端有三个，分别是MemoryStateBackend、FsStateBackend、RocksDBStateBackend，在flink1.14中，这些状态已经被废弃了，新版本的状态后端是 HashMapStateBackend、EmbeddedRocksDBStateBackend。

1、检查点

有状态流应用中的检查点（checkpoint），其实就是所有任务的状态在某个时间点的一个快照（一份拷贝）。简单来讲，就是一次存盘，让我们之前处理数据的进度不要丢掉。在一个流应用程序运行时，Flink会定期保存检查点，在检查点中会记录每个算子的id和状态，如果发生故障，Flink就会用最近一次成功保存的检查点来恢复应用的状态，重新启动处理流程，就如同读档一样。