Flink State 使用的4点建议

最新推荐文章于 2024-11-30 17:26:23 发布

原创

最新推荐文章于 2024-11-30 17:26:23 发布 · 928 阅读

5 ·

CC 4.0 BY-SA版权

本文介绍了Flink State使用时的注意事项，包括慎用长list以避免内存问题，正确使用UnionListState以防止状态增长，以及如何正确清空和管理Keyed State，特别是处理RocksDB中大value值的场景。此外，还强调了State TTL和选择合适的数据结构来优化性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一. Operator state 使用建议

慎重使用长 list

下图展示的是当前版本中 task 端 operator state 在执行完 checkpoint 返回给 job master 端的 StateMetaInfo 的代码片段。

由于 operator state 没有 key group 的概念，所以在修改任务并发度进行恢复时，需要将operator state中的每一个序列后的元素存储一个位置偏移量(offset)，如上图红框中的offsets数组所示。

另外如果你定义的operator state很大时，上面所说的offset数组的规则就可能达到数十MB，重要的是这个状态数组是会上报给job manager的，如果算子(operator)的并发数目很大，那么意味着该算子的多个并发任务都将上报数十MB的状态，这很容易导致job manager 发生OOM。

我们之前有同事用operator state存储某个业务的id-mapping数据，结果这个id-mapping数据的规模越来越大，后面导致一开始执行checkpoint, job manager就会因为收到task返回的超大的offset数组导致占用内存量越来越大，无法正常相应甚至OOM。