flink内存模型介绍

最新推荐文章于 2025-05-13 10:51:47 发布

原创最新推荐文章于 2025-05-13 10:51:47 发布 · 705 阅读

CC 4.0 BY-SA版权

21 篇文章

订阅专栏

本文详细介绍了Apache Flink的内存模型，包括堆内存与堆外内存的划分，以及各自在框架与任务层面的应用。深入探讨了托管内存的作用，并列举了与内存管理相关的配置参数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

flink内存模型

堆内存
- 框架堆内存（Framework Heap Memory）：用于 Flink 框架的 JVM 堆内存（进阶配置）。
- 任务堆内存（Task Heap Memory）：用于 Flink 应用的算子及用户代码的 JVM 堆内存。
堆外内存
- 托管内存（Managed memory）：由 Flink 管理的用于排序、哈希表、缓存中间结果及 RocksDB State Backend 的本地内存。
- 框架堆外内存（Framework Off-heap Memory）：用于 Flink 框架的堆外内存（直接内存或本地内存）（进阶配置）。
- 任务堆外内存（Task Off-heap Memory）：用于 Flink 应用的算计及用户代码的堆外内存（直接内存或本地内存）。
- 网络内存（Network Memory）：用于任务之间数据传输的直接内存（例如网络传输缓冲）。该内存部分为基于 Flink 总内存的受限的等比内存部分。
JVM Metaspace：Flink JVM 进程的 Metaspace。
JVM 开销：用于其他 JVM 开销的本地内存，例如栈空间、垃圾回收空间等。该内存部分为基于进程总内存的受限的等比内存部分。

taskmanager.memory.off-heap：如果设置为true，则开启堆外内存(默认为false，跟spark一样，默认不开启堆外内存)。

框架堆内存（Framework Heap Memory）	`taskmanager.memory.framework.heap.size`	用于 Flink 框架的 JVM 堆内存（进阶配置）。
任务堆内存（Task Heap Memory）	`taskmanager.memory.task.heap.size`	用于 Flink 应用的算子及用户代码的 JVM 堆内存。
托管内存（Managed memory）	`taskmanager.memory.managed.size` `taskmanager.memory.managed.fraction`	由 Flink 管理的用于排序、哈希表、缓存中间结果及 RocksDB State Backend 的本地内存。
框架堆外内存（Framework Off-heap Memory）	`taskmanager.memory.framework.off-heap.size`	用于 Flink 框架的堆外内存（直接内存或本地内存）（进阶配置）。
任务堆外内存（Task Off-heap Memory）	`taskmanager.memory.task.off-heap.size`	用于 Flink 应用的算计及用户代码的堆外内存（直接内存或本地内存）。
网络内存（Network Memory）	`taskmanager.memory.network.min` `taskmanager.memory.network.max` `taskmanager.memory.network.fraction`	用于任务之间数据传输的直接内存（例如网络传输缓冲）。该内存部分为基于 Flink 总内存的受限的等比内存部分。
JVM Metaspace	`taskmanager.memory.jvm-metaspace.size`	Flink JVM 进程的 Metaspace。
JVM 开销	`taskmanager.memory.jvm-overhead.min` `taskmanager.memory.jvm-overhead.max` `taskmanager.memory.jvm-overhead.fraction`	用于其他 JVM 开销的本地内存，例如栈空间、垃圾回收空间等。该内存部分为基于进程总内存的受限的等比内存部分。