Apache Flink连载（二十九）：Flink细粒度资源管理（2）-用法、测试及局限性

最新推荐文章于 2026-01-08 22:00:24 发布
原创 最新推荐文章于 2026-01-08 22:00:24 发布 · 293 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#apache #flink #大数据

本文详细介绍了Apache Flink的细粒度资源管理，包括如何启用配置、在代码中指定资源需求，以及在Yarn Session和Application模式下的测试。文章还探讨了该功能的局限性，如不支持弹性伸缩和平均分配Slot策略。

🏡 个人主页：IT贫道-优快云博客

 🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~

 🔔 博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频

目录

1.细粒度资源用法

2. 细粒度资源测试

2.1 编写代码

2.2 代码测试

​​​​​​​3. 局限性

1.细粒度资源用法

要使用细粒度资源管理，需要做以下操作:

1) 配置启用细粒度资源管理

在flink-conf.yaml配置文件中配置 cluster.fine-grained-resource-management.enabled为true，早期Flink版本中没有此配置，如果配置上会有异常报错。

2) 代码中指定资源需求

在代码中通过创建Slot Sharing Groups（Slot共享组）定义了细粒度的资源需求。在Flink内部SlotSharingGroup会告诉JobManager 哪些operator/tasks可以放在同一个Slot中。关于在代码中定义SlotSharingGroup和哪些算子使用对应的SSG，有以下两种方式：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink细粒度资源管理解析
VqhhMobile的博客
09-14 160
通过合理配置任务槽数量和动态调度任务槽，Flink能够实现更好的资源利用率和负载均衡，从而提高应用程序的性能和可伸缩性。任务槽是Flink中的最小资源单元，每个任务槽可以执行一个或多个子任务。任务槽可以在集群中的物理节点上分配和管理，Flink根据应用程序的需求动态分配任务槽，以实现更好的资源利用率和负载均衡。在配置资源管理器时，我们将任务槽数量设置为2，这意味着Flink将使用两个任务槽来执行该作业。通过细粒度资源管理，Flink能够根据应用程序的需求动态分配任务槽，以实现更好的资源利用率和负载均衡。
Flink难点和高阶面试题：Flink的状态管理机制如何保证数据处理的准确性和完整性
大模型大数据攻城狮的专栏
09-18 1330
在Flink中，状态管理的优化是提高数据处理性能的关键环节。为了实现高效的状态管理，Flink提供了一系列优化策略，这些策略从不同角度对状态数据进行了精细化的处理，从而显著提升了状态管理的整体效能。状态压缩是其中一项重要的优化策略。在处理大规模数据流时，状态数据往往会占用大量的内存和存储空间。通过状态压缩技术，Flink能够有效地减少状态数据的大小，进而降低内存消耗和存储成本。状态压缩的实现原理主要依赖于对状态数据的编码和压缩算法的优化。
Apache Flink细粒度资源管理原理
0102的博客
08-18 1211
如上案例，Flink处理流转关系图中有两个128并发的Kafka Source和一个32并发的Redis ，上下两路数据处理路径，一条是两个Kafka Source经过Join以后在经过一些AGG聚合操作，最后将数据Sink到16并发的Kafka中；（主要是内存），比如，Redis需要将数据缓存到内存提高性能，聚合则需要大量的managed memory存储state，对于这两本了只要申请32 和16份资源，对其后需要128份，那么多余的slot中内存资源就浪费了。对于较重的资源消耗的算子，导致。
Flink部署——细粒度资源管理
京河小蚁的博客
06-26 882
本页介绍细粒度资源管理的用法、适用场景及其工作原理。注意：此功能目前是 MVP（“最小可行产品”）功能，仅适用于 DataStream API。可能受益于细粒度资源管理的典型方案包括：在如何提高资源效率中，深入探讨了细粒度资源管理如何提高上述场景的资源效率。如 Flink 架构中所述，任务管理器中的任务执行资源被拆分为多个槽。该槽是 Flink 运行时中资源调度和资源需求的基本单位。 通过细粒度资源管理，槽请求包含用户可以指定的特定资源配置文件。Flink 将尊重用户指定的资源要求，并从 TaskManag
深入解析 Flink 细粒度资源管理
Ververica的博客
02-17 1290
▼ 关注「Apache Flink」，获取更多技术干货▼摘要：本文整理自阿里巴巴高级开发工程师郭旸泽 (天凌) 在 Flink Forward Asia 2021 核心技术专场的演讲。主...
官宣｜Apache Flink 1.17 发布公告
Ververica的博客
03-23 1215
Apache Flink PMC（项目管理委员）已宣布发布 Apache Flink 1.17.0。Apache Flink 是领先的流处理标准，流批统一的数据处理概念在越来越多的公司中得到认可。
Flink调优----资源配置调优与状态及Checkpoint调优
天冬忘忧的博客
12-21 1767
在大数据处理领域，Flink 作为一款强大的流处理框架，其性能优化对于高效数据处理至关重要。合理的资源配置是实现卓越性能的基石，它直接关系到 Flink 作业在处理大规模数据时的效率、稳定性以及资源利用率。而状态及 Checkpoint 调优则是确保数据处理准确性与可靠性的关键环节，能够有效应对系统故障与数据一致性挑战。通过深入探究资源配置调优以及状态和 Checkpoint 调优的策略与方法，可使 Flink 在复杂的数据处理场景中充分发挥其潜力
Flink部署模式全解析：Session、Per-Job、Application的区别与实战选型指南
zuiyuelong的博客
09-20 915
在大数据处理的演进历程中，Apache Flink 凭借其高吞吐、低延迟和精确一次（exactly-once）的流处理能力，逐渐成为实时计算领域的核心引擎。然而，许多开发者和运维团队在初次接触 Flink 时，往往将注意力集中在作业逻辑编写和性能调优上，却忽略了部署模式的选择对整体系统架构产生的深远影响。事实上，部署模式不仅关系到集群的资源利用率、作业稳定性，还直接决定了日常运维的复杂度和成本。部署模式本质上是 Flink 作业与集群资源之间的组织方式。
Flink Checkpoint机制详解：保障流处理可靠性的核心技术
架构师的AI之路，分享AI应用开发架构的学习与实践。
10-12 804
分布式快照（Distributed Snapshot）是指在一个由多个节点（进程）组成的分布式系统中，记录所有节点状态以及节点间通信信道状态的一致性快照。全局一致性：快照中的所有节点状态对应系统的同一个"逻辑时间点"；非阻塞：生成快照过程中，系统可以继续处理业务数据（允许有限的"异步"操作）；可恢复性：快照可用于将系统恢复到故障前的一致状态。"节点"对应Flink的算子实例"节点状态"对应算子的State"通信信道"对应算子间的数据流（Stream）。
Apache Flink：流处理技术的新里程碑
它在Storm和Spark Streaming的基础上进行了优化，克服了微批处理的局限性，能更高效地处理连续事件。Flink的主要特性包括：状态管理、事件时间处理、窗口机制、容错性和高性能计算。" Apache Flink是一种开源流处理...
二刷大数据（三）- Flink1.17
qq_58551342的博客
04-18 1857
通过算子链，多个算子的子任务（Subtask）可以共享同一个 Task Slot，避免了跨进程或跨网络的数据交换，减少了线程上下文切换、数据序列化/反序列化的开销，同时也降低了对系统资源的需求。如果作业的并行度大于可用的任务槽数量，部分子任务将在其他 TaskManager 的任务槽中执行，或者等待空闲的任务槽。综上所述，Flink 中的水位线是事件时间处理框架中不可或缺的一部分，它通过动态跟踪和传播事件时间的进展，解决了实时数据流中的乱序问题，确保了基于事件时间的窗口计算能够在合理的时间内准确完成。
大数据时代时序数据库选型指南：为何Apache IoTDB成为物联网场景首
小相探索IT世界
01-08 727
时序数据库选型面临物联网、工业互联网等场景下海量数据处理的挑战。本文对比分析了主流时序数据库的核心维度：InfluxDB适合中小规模监控场景，TimescaleDB兼容SQL但性能有限，OpenTSDB扩展性强但架构复杂。重点推荐专为物联网设计的Apache IoTDB，其树状数据模型贴合工业场景，具备千万级写入吞吐量、10:1高压缩比和端边云协同架构。
如何在 CentOS 7 上通过调优 Apache Tomcat 配置，提高高并发电商网站的性能？
A5互联
01-04 719
在电商高峰期（如双十一、双十二、黑五等促销活动期间），网站需要承载大量并发访问请求，如何在现有硬件条件下，通过合理调优 Apache Tomcat，使其在 CentOS 7 上稳定支撑高并发负载，是提升电商平台性能的核心运维技术之一。A5数据在本文中基于实际生产环境案例，以具体参数、技术细节、实现方法和性能评测为导向，逐步讲解如何从 Tomcat 配置、JVM 参数、操作系统内核和网络层面进行全面优化。
Apache SeaTunnel 2025 案例精选重磅发布！
weixin_54625990的博客
01-08 213
🎉哇塞！《2025 年 Apache SeaTunnel 案例精选集》 闪亮登场啦！免费领取通道开启，限时 7 天，手快有手慢无哦，宝子们冲呀！
Linux-Web服务（Apache）
Maggie_ssss_supp的博客
01-05 604
Apache HTTP Server（简称Apache）是Apache软件基金会的一个开源的web服务器，Apache是世界使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上，由于其跨平台和安全性被广泛使用，是最流行的Web服务器端软件之一。1.主配置目录：/etc/httpd/conf/2.子配置目录：/etc/httpd/conf.d/2.默认发布目录：/var/www/html/3.默认监听端口：804.检查是否有语法问题：httpd -t。
Spring Security 与 Apache Shiro 两大安全框架比较
lizhengyu891231的博客
01-04 593
Spring Security 与 Apache Shiro 两大安全框架比较
Spring Boot 整合 Apache Doris：实现海量数据实时OLAP分析实战
夜雨的博客
01-08 819
Spring Boot 整合 Apache Doris：实现海量数据实时OLAP分析实战.在大数据时代，企业对数据分析的实时性、并发性和灵活性提出了前所未有的要求。传统关系型数据库（如 MySQL）难以应对高吞吐写入与复杂聚合查询的双重压力。为此，**Apache Doris** 作为一种高性能、低延迟的 MPP（Massively Parallel Processing）实时分析型数据库，正被越来越多企业用于构建现代化数仓系统。
大数据时代下的时序数据库选型指南：为何Apache IoTDB成为最优解
最新发布
稻草人
01-08 801
摘要： 随着物联网等场景的快速发展，时序数据呈指数级增长，对存储和分析系统提出更高要求。本文从大数据视角提出时序数据库选型的6大核心维度：存储效率、写入性能、查询能力、生态兼容性、运维成本和可靠性。通过对比InfluxDB等国外产品，Apache IoTDB凭借双层存储架构（压缩率高30%-50%）、百万级TPS写入、毫秒级查询、深度兼容大数据生态（Flink/Spark等）、边缘-云端协同架构及开源免费等优势，成为PB级时序数据处理的最优解。文中还提供了IoTDB集群部署架构与Flink集成示例，助力企业
2025 年 Apache DolphinScheduler 案例精选
hopsky的博客
01-05 639
精选集展示了Apache DolphinScheduler在互联网、云计算、智能制造、AI研发等领域的深度应用，通过容器化部署、流批统一调度、数据血缘治理、多系统协同等方案，解决了企业数据调度中的弹性、稳定性与扩展性难题。社区持续推动开源生态创新，为企业构建高可用、智能化的调度平台提供实践指南。完整案例详见各章节链接，或访问Apache DolphinScheduler官网。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值