Flink JobManager内存管理机制介绍与调优总结

Flink1.12-之JobManager&TaskManager内存管理 Flink1.12-之内存管理 1、前言 flink为了让用户更好的调整内存分配,达到资源的合理分配,在Fllink1.10引入了TaskManager的内存管理,后续在Flink1.11版本引入了JobManager的内存管理,用户可以通过配置的方式合理的分配资源。 不管是TaskManager还是JobManager都是单独的JVM进程,他们共用一套内存模型抽象(TaskManager的内存模型更加复杂),如下。 该模型由heap和off-heap内存组成,这里有以下3种调整内存的方式,3种方式必 阅读详情

e01cefc95bcd3b84b556bc626d3acaad.gif

作者:董伟柯,腾讯云大数据高级工程师

概要

我们知道,旧版本 Flink 的 JobManager 作为管理者,只承担着初始化和协调的任务,内存压力非常小,很少出现 OOM 等问题。

但是,随着 Flink CDC [1] 实时数据捕获技术的广泛应用,以及采用 Flink 新版 Source 接口(FLIP-27: Refactor Source Interface [2])的 Connector 日渐增加,JobManager 的职责越来越重:它还肩负着定期动态感知和协调数据分片的职责(SplitEnumerator 的设计详见 [3] 文章)。特别是在数据量很大,以及数据倾斜较为严重时,非常容易发生内存不足的故障,导致 JobManager 崩溃退出,后果非常严重。

在上一篇文章 Flink TaskManager 内存管理机制介绍与调优总结 [4] 中,我们系统地讲解了 Flink 新版内存模型的设计动机,并详细描述了 TaskManager 各个内存区域和子区域的技术原理和线上配置经验。本文则侧重于讲解 JobManager 的内存布局和相关经验分享,助力作业跑的更快、更稳定。

JobManager 内存分区总览

同样地,我们从 Flink 官网的 JobManager 内存分区图 [5] 开始说起,

可以看到,相比 TaskManager 的内存分区而言,JobManager 的内存划分显得相当简单:只有 JVM 进程总内存、Flink 总内存、堆内存、堆外内存、JVM 元空间、JVM 运行时开销,不再区分框架区和用户区,也没有托管内存、网络缓存等其他区域。

但这并不意味着 JobManager 的内存更好管理;相反,这表示 Flink 社区对 JobManager 内存控制的还很粗粒度,因此出问题时更隐蔽,更难定位,因此一定要特别重视。

JobManager 各内存区域详解

同样地,我们逐一分析上述各个内存区的用途,以及线上配置和调优经验。

JVM 进程总内存(Total Process Memory)

该区域表示整个 JVM 进程的内存用量,包括了下面要介绍的所有内存区域。它通常用于设定容器环境(YARN、Kubernetes)的资源配额。例如我们设置 Flink 参数 jobmanager.memory.process.size 为 4G,那么,如果 JVM 不慎用超了物理内存(RSS、RES 等),就会面临被强制结束(SIGKILL,相当于 kill -9)的结果。

由于 JobManager 肩负着协调整个作业的重任,还负责与 ZooKeeper 等 HA 服务通讯,如果因为资源超用而被直接中止,后果比 TaskManager 更严重:例如之前的最新快照还没来得及确认,新启动的 JobManager 找不到可用的快照信息,可能造成数据丢失或重复计算的后果。

因此在 有硬性资源配额检查 的容器环境下,请对作业充分压测后,妥善设置该参数,尽可能预留相当多的安全余量。

Flink 总内存(Total Flink Memory)

Flink 总内存指的是 JobManager 可以感知并管理的内存区域,即上述提到的 JVM 进程总内存 再减去 Flink 无法控制的 Metaspace(元空间)和 Overhead(运行时开销)两区域。

我们可以使用 jobmanager.memory.flink.size 参数来控制 Flink 总内存的阈值,对于非容器环境(例如 Standalone 等部署模式),可以设置这个参数来让 Flink 自行计算各个子内存区域的大小。

在实际业务场景中,我们建议 JobManager 的 Flink 总内存不低于 1.5G,以保证作业的稳定性。

JVM 堆内存(JVM Heap Memory)

对于 JobManager 而言,堆内存(JVM 通过 -Xmx 和 -Xms 参数控制的、可供垃圾回收的内存区域)有如下用途:

  1. Flink 框架自身的开销,例如 RPC 通讯、Web UI 缓存、高可用相关的线程等

  2. 各类新版 Connector 的 SplitEnumerator,用于动态感知和划分数据源的分片

  3. Session 或 Application 等部署模式下,用户提交作业时,执行用户程序代码,也可能有内存分配

  4. Checkpoint 回调函数中的用户代码(CheckpointListener),用于通知快照完成或失败事件,或执行用户自定义逻辑

堆内存大小的配置参数是 jobmanager.memory.heap.size。需要特别注意的是,如果配置了该参数,请不要再配置上述提到的 JVM 进程总内存 或  Flink 总内存 参数,以免配置无效。

在生产环境,我们经常遇到客户需要通过 MySQL CDC Connector 来访问非常大的表(十亿条数据),而 Flink CDC 默认的分块(chunk)大小是 8096. 这样 SplitEnumerator 就可能产生数十万个分片,导致 JobManager 内存耗尽。

针对这个场景,最简单的方法是调大 CREATE TABLE 语句的 WITH 参数中 scan.incremental.snapshot.chunk.size 的值,例如调大 100000,这样每个分片变大了,总分片数就会大幅减少,JobManager 的堆内存压力也会随之得到释放。但是,当分片变大时,TaskManager 的处理压力又会随之上升,因此 TaskManager 会变的更容易发生 OOM,按下葫芦浮起瓢。

腾讯云流计算 Oceanus 针对上述场景,研发了一个显著缓解超大数据量时 JobManager 堆内存占用的特性,相比开源版可以减少约 70% 的堆内存占用。在后面的文章中,我们会讲解优化原理,也欢迎大家试用。

除了 Connector 对 JobManager 造成堆内存压力外,当用户提交 Flink 作业时,如果有额外的长期线程创建(例如通过 Curator 协调多个作业的数据处理范围),也可能导致提交时的 Classloader 所关联的内存对象无法被回收,最终造成内存泄漏。

JVM 堆外内存(JVM Off-Heap Memory)

JobManager 的堆外内存用量通常不大,通常分为 JVM 管理的直接(Direct)内存以及通过 UNSAFE.allocateMemory 分配的原生(Native)内存块。

堆外内存的配置参数为 jobmanager.memory.off-heap.size,默认是 128M,但只是君子协定,用于计算堆内存大小时的扣除量,并不能限制超用。但如果额外配置 jobmanager.memory.enable-jvm-direct-memory-limit 为 true,则 Flink 会通过 -XX:MaxDirectMemorySize 来严格限制 Direct 区的内存用量。一旦真的超用,会立刻抛出 OutOfMemoryError: Direct buffer memory 异常。

Flink 方面,堆外内存的用户主要有 Flink Akka 框架通讯,以及用户提交作业时代码(通常很少见),或者 Checkpoint 回调函数中的用户代码(通常也很少见)。

正常情况下,堆外内存出问题的情况非常少。但如果堆内常常出现 OOM 却又找不到原因时,可以尝试启用上述的 limit 限制(仍然有局限性,参见 [6],来判断是否是因为 Direct 区的无限增长,导致的堆内存空间被挤压。

JVM 元空间(JVM Metaspace)

JVM Metaspace 主要保存了加载的类和方法的元数据,Flink 配置参数为 jobmanager.memory.jvm-metaspace.size,默认大小为 256M.

通常无需调整它,除非用户提交 Flink 作业时,用了大量的动态类生成和加载的 “魔法”,造成 JVM 报出 OutOfMemoryError: Metaspace.

JVM 运行时开销(JVM Overhead)

除了上文描述的堆内、堆外、元空间外,JVM 自身运行时也会有一些内存开销,用来存放代码缓存等。Flink 的配置参数为 jobmanager.memory.jvm-overhead.fraction,默认为 0.1 即 10% 的 JVM 进程总内存;同时也受最小阈值(参数为 jobmanager.memory.jvm-overhead.min,默认 192M)和最大阈值(参数为 jobmanager.memory.jvm-overhead.max,默认 1G)的限制。

如果提交 Flink 作业时,有通过 JNI 调用 C/C++ 相关类库,那么也有可能用到这部分内存空间。该区域的内存泄漏定位起来较为繁杂,可能需要例如 jemalloc [7] 和 jeprof [8] 等辅助,这里不再赘述。感兴趣的读者可以阅读我之前写的 Flink 常见问题定位指南 [9] 文章。

参考阅读

[1] https://ververica.github.io/flink-cdc-connectors/

[2] https://cwiki.apache.org/confluence/display/FLINK/FLIP-27%3A+Refactor+Source+Interface

[3] https://cloud.tencent.com/developer/article/1930211

[4] https://cloud.tencent.com/developer/article/2024181

[5] https://nightlies.apache.org/flink/flink-docs-master/zh/docs/deployment/memory/mem_setup_jobmanager/

[6] https://heapdump.cn/article/142660

[7] https://github.com/jemalloc/jemalloc

[8] http://manpages.ubuntu.com/manpages/impish/man1/jeprof.1.html

[9] https://cloud.tencent.com/developer/article/1754719

深入Flink运行时架构:JobManager与TaskManager协作全解析 fill:#333;color:#333;color:#333;fill:none;提交JobGraph创建JobManager申请资源分配TaskManager注册Slot分发任务ClientDispatcherJobMaster。 阅读详情

相关推荐

【Flink】Flink内存调优

基于 JVM 内存存在一些问题,并且在大数据场景下,无法在内存中存储海量数据,计算效率无法提高。Flink 社区采用自主内存管理设计,设计了两种内存模型 JobManager 内存模型和 TaskManager 内存模型。

HHoao的博客 2501

JobManager 内存简介

Flink JobManager 内存模型相关配置参数说明。组成部分配置参数描述JVM 堆内存JVM 堆内存堆外内存JobManager 的堆外内存(直接内存或本地内存)默认值:128MBFlink JVM 进程的 Metaspace默认值256mbJVM 开销用于其他 JVM 开销的本地内存,例如栈空间、垃圾回收空间等。该内存部分为基于进程总内存的受限的等比内存部分。

m0_57320261的博客 2399

【Flink】参数不生效

提交flink的时候使用下面命令进行提交 flink run -m yarn-cluster -Djobmanager.memory.process.size=2048mb -c com.test.Test /data/flink-example-1.0-SNAPSHOT.jar 最后发现jobmanager.memory.process.size这个参数并不生效,flink参数如下 Options for Generic CLI mode: -D <property=v...

一杯咖啡半杯糖的博客 3760

【Flink 核心篇】Flink 内存管理(二):JobManager 内存分配(含实际计算案例)

以上 Total Process Memory 的模型图可以分为以下的 4 个内存组件,如果在分配内存的时候,显示的指定了组件其中的1个或者多个,那么JVM Overhead的值就是在其它组件确定的情况下,用Total Process Size- 其它获取的值,必须在min-max之间,如果没有指定组件的值,那么就按照0.1 的比例进行计算得到,如果计算出的值小于min取min,如果大于max取max,如果min、max指定的相等,那么这个JVM Overhead就

Data · Model · Agent · Repeat 3894

【Flink】taskmanager到底设置多少内存为好

本flink版本基于1.12 在做flink开发过程中会遇到内存参数设置问题,如果设置过小会造成flink任务无法提交,那到底我们应该把flink的jobmanager设置多大才不会报错呢?我们先看下FlinkUI,jobmanager组成如图所示: ...

一杯咖啡半杯糖的博客 1万+

Flink JobManager原理与代码实例讲解

Flink JobManager原理与代码实例讲解 关键词 Flink JobManager 分布式计算 调度算法 资源管理 实践教程 摘要

AI天才研究院 1215

Flink整理

文章目录1. Flink 概述1.1. Flink 特点1.2. Flink 和 Spark Streaming 对比2. Filnk 运行架构2.1. Yarn 任务运行流程2.2. Flink 线上部署2.3. Flink 运行组件2.3.1. Flink Client 客户端2.3.2. JobManager 作业管理器2.3.3. ResourceManager 资源管理器2.3.4. TaskManager 任务管理器2.3.5. Dispatcher 分发器3. Flink API3.1. T

weixin_50405727的博客 1369

高分六号GF-6 WFV数据处理全流程:从原始数据解压到经纬度投影转换

本文详细解析了高分六号GF-6 WFV遥感数据的完整处理流程。从原始数据解压与分块结构理解入手,指导如何安装ENVI国产卫星支持工具进行自动拼接,并重点阐述了利用RPC模型进行正射校正以消除几何畸变,以及将UTM投影转换为地理经纬度坐标的关键步骤。文章旨在帮助用户高效地将原始卫星数据转化为可直接用于农业监测、生态环境分析等领域的标准地理空间图像。

weixin_29047919的博客 196

Flink内核源码(四)内存管理

Flink内核源码之Flink的内存管理机制,同时包括Flink的内存调优以及一些故障排除。

小朱小朱绝不认输的博客 2092

C++游戏开发实战:从零构建局域网联机对战系统(附完整代码解析)

本文详细介绍了如何使用C++开发局域网联机对战游戏系统,涵盖从环境搭建到实战代码解析的全过程。重点讲解了Winsock库的应用、Socket通信原理、服务端与客户端开发技巧,以及性能优化和安全防护方案,帮助开发者快速掌握C++游戏开发的核心技术。

weixin_42524945的博客 446

智能排班考勤系统原型

可实现从业务预测,到工时预估,再到人员分配全流程自动智能排班。可应用于客服行业或工厂的智能排班系统。

gywm15111336483的专栏 997

深入剖析Flink内存管理:架构、调优与实战指南

摘要:Apache Flink的内存管理机制是其高效稳定运行的关键,涉及TaskManager、JobManager和托管内存等核心组件,采用堆内存与堆外内存协同工作的架构。文章详细解析了Flink内存配置参数(如taskmanager.memory.process.size)及调优策略,针对实时日志分析和批量处理等典型场景提供具体配置建议。通过合理的内存分配、动态调整及问题诊断(如OutOfMemoryError),可显著提升作业性能与资源利用率。掌握Flink内存管理原理与优化技巧对构建高性能大数据系统

qq_42773076的博客 895

Zemax实战:手把手教你设计一个40倍、NA0.65的显微物镜(附初始结构文件)

本文详细介绍了使用Zemax设计40倍、NA0.65显微物镜的完整流程,从初始结构搭建到优化验证,涵盖光学设计的关键技巧和实战经验。通过分阶段优化策略和公差分析,帮助工程师快速掌握高倍显微物镜的设计方法,提升光学系统性能。

weixin_42525369的博客 345

秒懂Flink:Flink内存优化与性能调优最佳实践

想要提升Apache Flink流处理引擎的性能吗?掌握Flink内存优化技巧是每个大数据工程师的必修课!本文将为您揭示Flink内存管理的核心奥秘,通过简单易懂的讲解,帮助您快速掌握Flink性能调优的关键技术,让您的流处理作业运行更加高效稳定。😊 ## 为什么Flink内存优化如此重要? Flink作为业界领先的流处理框架,其内存管理机制直接影响作业的性能、稳定性和资源利用率。合理的内存

gitblog_01135的博客 414

ABAP CDS HAVING 全解析:聚合之后的精准过滤、最佳实践与可运行示例

摘要: 本文针对具备ABAP与CDS基础的开发者,详解HAVING在ABAP CDS中的核心用法。HAVING专用于过滤GROUP BY后的聚合结果(如SUM、COUNT),与WHERE的分工明确:前者处理聚合值,后者过滤原始记录。通过销售额阈值、质量分析、财务对账三类典型场景,结合性能优化建议(如优先使用WHERE索引过滤),说明实际应用。文中提供经典CDS View与View Entity两种实现代码,并附Open SQL消费示例,帮助开发者快速落地。常见误区(如聚合条件误写至WHERE)与规避方法亦被

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 226

Python-编写点云处理软件(二)点云软件ui制作之仿CC界面

至本篇结束,我们已经能够获得一个有点模子的界面了,但是具体的功能还没有编写,后续的文章将逐渐完善功能。

weixin_43894929的博客 3954

Flink 源码解析 —— Flink JobManager 有什么作用?

JobManager 的作用 https://t.zsxq.com/2VRrbuf 博客 1、Flink 从0到1学习 —— Apache Flink 介绍 2、Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、Flink 从0到1学习 —— Flink 配置文件详解 4、Flink 从0到1学习 —— Data...

http://www.54tianzhisheng.cn/ 1329

基于GELAN模块的YOLOv8改进-C2f结构替换与轻量化与高效涨点优化研究

本文详细探讨了在YOLOv8架构中利用YOLOv9的GELAN模块替换C2f结构的改进方法。轻量化版本在资源受限的场景中具有显著的推理效率提升,适用于边缘设备和移动端应用。高效涨点版本则在检测精度上实现了大幅突破,特别适合高精度要求的任务。实验结果显示,GELAN模块相比原C2f模块,在参数量与计算量间取得了更好的平衡,同时提升了检测性能。此外,本文还展示了结构图、训练代码和部署优化方案,为研究者和开发者提供了实践参考。

博客 1439

Flink内存管理完全解读

文章目录01 引言02 Flink内存管理2.1 总内存管理2.2 JobManager内存管理内存管理2.3 TaskManager内存管理03 文末 01 引言 在Flink的后台界面,我们可以看到整个Flink的内存情况。 如:JobManager的内存情况: TaskManager的内存情况: 为了深刻的理解这个Flink的内存模型,所以本文整理下Flink内存管理相关的配置及内容。 声明:下面均是本人整理好的图表,转载请联系博主! 地址:https://yanglinwei.blog.

阿甘兄 4618

华为OD机试真题2025双机位A卷 Java&Go 实现【采购订单】

在一个采购系统中,采购申请(PR)需要经过审批后才能生成采购订单(PO)。每个PR包含商品的单价(假设相同商品的单价一定是一样的)及数量信息。系统要求对商品进行分类处理:单价高于100元的商品需要单独处理,单价低于或等于100元的相同商品可以合并到同一采购订单PO中。针对单价低于100的小额订单,如果量大可以打折购买。

MISAYAONE的博客 1262

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

Flink内核源码解析(出自B站尚硅谷)

文章目录任务提交流程 本套教程针对Flink 1.12.0版本的核心模块进行源码级讲解,从任务提交流程、通讯过程、Task调度、内存模型四大方面入手,庖丁解牛逐行分析源码,手术刀级别剖析Flink内核架构! 任务提交流程 实例以yarn-per-job为例。 flink提交作业是通过flink run进行提交的,可以从提交脚本中看到启动类即程序的入口是: org.apache.flink.client.cli.CliFrontend 查看其中的main方法,执行的逻辑简单总结如下: 获取flink的c

qq_24095055的博客 6731

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Flink 源码解析 —— JobManager 处理 SubmitJob 的过程

JobManager 处理 SubmitJob <!--more--> https://t.zsxq.com/3JQJMzZ 博客 1、Flink 从0到1学习 —— Apache Flink 介绍 2、Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并...

cheni8327的博客 130

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

【内存模型】Flink内存模型:从宏观(Flink内存模型)、微观(Flink内存结构)、数据传输等角度分析Flink的内存管理

我们首先先从Flink的不同角色看一下Flink的内存管理,然后在微观的看一下Flink的内存管理器和数据模型,最后再观察下数据传输时的内存管理。

hiliang521的博客 5245

Spark与Flink的内存管理(二)

Flink的内存管理 目前,大数据计算引擎主要用Java或是基于JVM的编程语言实现的,例如Apache Hadoop、Apache Spark、Apache Drill、Apache Flink等。Java语言的好处在于程序员不需要太关注底层内存资源的管理,但同样会面临一个问题,就是如何在内存中存储大量的数据(包括缓存和高效处理)。Flink使用自主的内存管理,来避免这个问题。 JVM内存管理的不足: Java对象存储密度低。Java的对象在内存中存储包含3个主要部分:对象头、实例数据、对齐填充部分。

二锅头的博客 514

Flink内存管理机制

Flink内存管理机制

爱吃辣条的博客 558
上一篇: 打造次世代分析型数据库(八):高效数据导入导出方案
下一篇: 独家特性 | 腾讯云大数据ES:一站式索引全托管,自治索引大揭秘!
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值