flink 内存及优化

最新推荐文章于 2025-10-30 12:20:03 发布
原创 最新推荐文章于 2025-10-30 12:20:03 发布 · 1.7k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍在YARN环境下如何合理配置Flink的内存参数以优化任务性能。特别关注taskmanager.memory.managed.size参数的作用及其对托管内存的影响，通过设置该参数为0来最大化分配给JVM上用户代码的内存。
flink内存

在yarn的环境下.提交任务时指定内存 -ytm 4g

-ytm,–yarntaskManagerMemory
指定的是

在这里插入图片描述

taskmanager.memory.managed.size

执行无状态作业或者使用 Heap State Backend（MemoryStateBackend 或 FsStateBackend）时，建议将托管内存设置为 0。 这样能够最大化分配给 JVM 上用户代码的内存。

-yD taskmanager.memory.managed.size=0

不设置管理内存为0的话.分配4g的内存,可用的堆内内存只有1.5G.设置为0后.堆内内存能有2.7g左右.

checkpoint 超时和 gc的时间都少了很多.

flink 1.12 UI

在这里插入图片描述
这个UI详细展示了细节.十分友好.

【Flink】taskmanager到底设置多少内存为好
一杯咖啡半杯糖的博客
03-30 1万+
本flink版本基于1.12 在做flink开发过程中会遇到内存参数设置问题，如果设置过小会造成flink任务无法提交，那到底我们应该把flink的jobmanager设置多大才不会报错呢？我们先看下FlinkUI，jobmanager组成如图所示： ...
【Flink】Flink RocksDB内存占用一直增大 state.backend.rocksdb.memory.managed
九师兄
11-11 3200
1.概述 有人遇到过RocksDB内存占用一直增大的情况吗？flink-1.13.1 版本 为什么要关掉托管内存？ iterator读并发比较高的场景，会锁定内存中的数据。关掉托管空出多点内存空间，是比较粗暴的处理方式，但很有效。有性能方面的问题再去调整rocksdb配置 如果开启rocksdb statebackend ，并且没有打开增量就会有这个问题。 配置为 state.backend.rocksdb.memory.managed ...
Flink：从业务实践角度聊聊状态缓存和内存管理
maoyuanming0806的博客
01-05 3965
本文就是记录些实践结论，不会做深入原理和源码级说明，因为这些，不如去看源码和官方文档，至少官方文档介绍的非常详细，比某些博文缺胳膊少腿、粘贴复制强多了，据我所知，市场上很多关于Flink的参考书大多直接翻译的官方文档 官方文档链接附上：https://www.bookstack.cn/read/flink-1.11.1-zh/collapse-2 如上是中文翻译版的文档，也有英文版选择和不同版本选择，自行选用 本文基于Flink V1.11 文章目录Flink状态缓存StateFlink状态缓存Flin.
Flink 内存模型和生产环境调优
最新发布
2502_92343817的博客
10-30 746
Flink 自1.1版本起通过 FLIP-49 Unified Memory Configuration for TaskExecutors 和 FLIP-116 Unified Memory Configuration for Job Managers对 TaskManager 和 JobManager 的内存模型进行了重大重构，统一了内存配置方式，本文详细介绍 Flink TaskManager 内存模型的各内存块配置参数、生产环境中的优化策略，以及 Jemalloc 内存分配器的应用。
Flink系统知识讲解之：Flink内存管理详解
大数据开发、JAVA开发、人工智能AI
01-12 2297
Flink系统知识讲解之：Flink内存管理详解
【Flink 核心篇】Flink 内存管理（四）：TaskManager 内存分配（实战篇）
Code · Cloud · Think · Repeat
02-25 4664
在 《Flink 内存管理（一）：设置 Flink 进程内存》中我们提到，必须使用下述三种方法之一配置 Flink 的内存（本地执行除外），否则 Flink 启动将失败。这意味着必须明确配置以下选项子集之一，这些子集没有默认值。
【Flink】Flink内存调优
HHoao的博客
08-24 2382
基于 JVM 内存存在一些问题，并且在大数据场景下，无法在内存中存储海量数据，计算效率无法提高。Flink 社区采用自主内存管理设计，设计了两种内存模型 JobManager 内存模型和 TaskManager 内存模型。
9. Flink的性能优化
qq_21451945的博客
03-03 1721
一般需要注意的是TaskManager的内存，因为job的运行主要是在TM上。如上图所示，barrier对齐机制中快的并行度会等待慢的并行度到达之后才能开始做本地的状态快照，在等待的过程中来的数据就会被缓存起来，如果并行度之间相差很大，就会占用很大的内存资源，可能会导致内存溢出，同时它的等待也会迟缓checkpoint的整体时间，还有当数据流被阻塞住处理来不及时会触发反压机制，进而更加限制数据流的流动，导致barrier在的流速更慢，进一步导致checkpoint时间变长，进入恶性循环。
flink 内存配置（四）：内存调优和问题处理
chanyue123的博客
11-05 1595
本节解释如何根据用例设置内存，以及每种用例中哪些选项是重要的。
Flink数据倾斜优化 FlinkSql及FlinkDataStream
Lyangstudy的博客
12-13 1843
1).现象：相同 Task 的多个 Subtask 中，个别 Subtask 接收到的数据量明显大于其他 Subtask 接收到的数据量，通过Flink Web U1 可以精确地看到每个 Subtask 处理了多少数据，即可判断出 Flink 任务是否存在数据倾斜。通常，数据倾斜也会引起反压。2).解决：(1)数据源倾斜比如消费 katka，但是 katka 的 topic 的分区之间数据不均衡读进来之后调用重分区算子:rescale、rebalance、shuffle，(2)单表分组聚合(纯流式)倾斜AP
Flink TaskManager内存优化
weixin_45249411的博客
09-27 1369
在生产使用一段时间后发现 托管内存(默认是Total memory* 0.4)和网络开销内存(0.1)使用较少。所以选择降低这两部分的内存。
Flink内存模型
勇心在馨
07-20 1791
flink官网上 的内存分布图如下： 1、processMemory 是分配的总大小，比如yarn分配的container的总大小。 2、framework memory与 task memory framework不属于slot内存，而task是slot内的使用的内存 heap memory内存主要是java对象和stateBackend内存 framework heapmemory+task heap memory=jvm堆内存总大小（-Xmx） framework off..
聊聊flink TaskManager的managed memory
weixin_34008805的博客
02-20 554
序 本文主要研究一下flink TaskManager的managed memory TaskManagerOptions flink-core-1.7.2-sources.jar!/org/apache/flink/configuration/TaskManagerOptions.java @PublicEvolving public ...
聊聊flink TaskManager的memory大小设置
weixin_33981932的博客
02-19 581
序 本文主要研究一下flink TaskManager的memory大小设置 flink-conf.yaml flink-release-1.7.2/flink-dist/src/main/resources/flink-conf.yaml # The heap size for the TaskManager JVM taskmana...
flink内存管理, 增加Task内存大小,减少ManageMemory, network内存的方法
spark_dev的博客
12-30 4018
flink内存管理, 增加Task内存大小,减少ManageMemory, network内存的方法
Flink1.12-之JobManager&TaskManager内存管理
shufangreal的博客
06-26 6778
Flink1.12-之内存管理 1、前言 flink为了让用户更好的调整内存分配，达到资源的合理分配，在Fllink1.10引入了TaskManager的内存管理，后续在Flink1.11版本引入了JobManager的内存管理，用户可以通过配置的方式合理的分配资源。 不管是TaskManager还是JobManager都是单独的JVM进程，他们共用一套内存模型抽象（TaskManager的内存模型更加复杂），如下。 该模型由heap和off-heap内存组成，这里有以下3种调整内存的方式，3种方式必
Flink TaskManager内存管理机制介绍与调优总结
xxy1022_的博客
01-17 4423
Flink TaskManager内存管理机制介绍与调优总结
flink内存优化
08-26
### 3.1 内存配置与状态后端选择 在 Apache Flink 中，内存优化的核心在于合理配置状态后端（State Backend）和调整 TaskManager 的内存参数。Flink 提供了多种状态后端实现，包括 `MemoryStateBackend`、`FsStateBackend` 和 `RocksDBStateBackend`。对于小规模状态或内存充足的场景，可以选择 `MemoryStateBackend`，其所有状态数据都存储在 JVM 堆内存中，适合低延迟、小状态的场景[^2]。 对于大规模状态或需要持久化的场景，建议使用 `RocksDBStateBackend`。RocksDB 是一个基于磁盘的嵌入式数据库，能够支持超大规模状态存储，并通过内存缓存提升访问性能。使用 RocksDB 时，应合理配置内存缓存大小，以平衡内存使用与性能表现。以下是一个配置示例： ```java Configuration config = new Configuration(); config.setString("state.backend", "rocksdb"); config.setString("state.checkpoints.dir", "file:///path/to/checkpoints"); config.setString("state.rocksdb.memory.managed", "true"); config.setInteger("state.rocksdb.memory.fixed-per-slot", 256); // 每个slot分配256MB内存 ``` ### 3.2 磁盘I/O优化 当使用 `FsStateBackend` 或 `RocksDBStateBackend` 时，磁盘 I/O 性能对整体系统表现有显著影响。为了优化磁盘性能，建议采用多块硬盘分担压力，尤其是在 RocksDB 中，可以通过配置多个存储目录来减少资源竞争。例如： ```java config.setString("state.rocksdb.storage.backend", "multi_disk"); config.setString("state.rocksdb.storage.paths", "/disk1,/disk2,/disk3"); ``` 该配置将 RocksDB 的数据分布在多个磁盘路径中，从而降低单个磁盘的 I/O 压力，提升整体吞吐量[^2]。 ### 3.3 检查点与保存点优化 Flink 的检查点机制对内存和磁盘资源都有一定影响。合理配置检查点的间隔和超时时间，可以减少对系统资源的占用。建议使用增量检查点（Incremental Checkpointing）来减少检查点的大小和生成时间，尤其适用于状态较大的作业： ```java StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.enableCheckpointing(5000); // 每5秒触发一次检查点 env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE); env.getCheckpointConfig().setMinPauseBetweenCheckpoints(2000); env.getCheckpointConfig().setIncrementalCheckpointsEnabled(true); ``` 启用增量检查点后，Flink 仅保存自上一次检查点以来发生变化的状态数据，从而显著降低 I/O 和网络带宽的消耗[^2]。 ### 3.4 并行度与 Slot 配置 Flink 的并行度设置直接影响任务的资源利用率和处理延迟。根据集群规模和任务需求调整作业的并行度，可以有效提升内存使用效率。此外，合理配置 TaskManager 的 slot 数量，有助于平衡资源使用和性能。例如，在 `flink-conf.yaml` 中进行如下配置： ```yaml taskmanager.numberOfTaskSlots: 4 parallelism.default: 8 ``` 该配置为每个 TaskManager 分配 4 个 slot，并将默认并行度设置为 8，确保任务能够充分利用集群资源。 ### 3.5 状态访问性能监控 监控状态访问的性能，如延迟和吞吐量，是优化内存使用的重要手段。Flink 提供了丰富的监控指标，可以通过 Web UI 或 Prometheus 等工具进行采集和分析。例如，监控 RocksDB 的读写延迟、缓存命中率等指标，有助于识别性能瓶颈并进行针对性优化。 ### 3.6 自定义状态后端与内存管理 在某些特殊场景下，标准的状态后端可能无法满足特定的性能或功能需求。此时，可以考虑开发自定义的 `Custom State Backend`。在开发过程中，应遵循 Flink 的接口规范和最佳实践，确保内存管理的高效性和稳定性。例如，使用堆外内存（Off-Heap Memory）来减少垃圾回收的压力，提升性能[^2]。 ### 3.7 日志与调试信息 启用详细的日志记录有助于在出现内存相关问题时快速定位原因。Flink 提供了多种日志级别和调试选项，可以通过配置文件进行调整： ```yaml state.backend.fs.memory.managed: true state.backend.fs.memory.segment-size: 32kb state.backend.fs.memory.memory_managed: true ``` 这些配置项用于控制状态后端的内存使用行为，有助于提升内存管理的效率和稳定性。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值