flink内存模型

最新推荐文章于 2025-03-19 17:14:27 发布

原创

最新推荐文章于 2025-03-19 17:14:27 发布 · 535 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flink

本文详细介绍Flink中的内存模型，包括ManagedMemory在流批处理中的应用，如何配置NetworkMemory以优化网络数据交换，以及如何调整FrameworkMemory。涵盖了任务heap内存、managed内存、total process memory和total Flink memory的配置策略，并重点讲解了性能调优技巧，如针对不同场景调整state backend内存、batch job内存和shuffle操作的内存设置。

1、详细内存模型

Managed Memory：

Streaming jobs can use it for RocksDB state backend. （流处理中的RocksDB状态后端）
Batch jobs can use it for sorting, hash tables, caching of intermediate results.（批处理排序、分区、中间结果缓存）
Both streaming and batch jobs can use it for executing User Defined Functions in Python processes.（批流中Python的UDF函数）

各个用途的分配通过 taskmanager.memory.managed.consumer-weights参数进行权重配置。