java实现发布flink yarn application模式作业

原创 于 2025-12-08 17:06:49 发布 · 553 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #flink #yarn #大数据

一.背景

       在企业级实时与批处理融合的大数据场景中，Apache Flink 凭借流批一体的计算能力，成为金融风控、实时数仓、物联网数据处理等核心业务的首选引擎；YARN 作为 Hadoop 生态的核心资源调度系统，仍是企业私有化大数据集群的主流资源管理底座。Flink YARN Application 模式作为 Flink 1.10+ 推出的核心部署模式，相比 Session 模式具备 “作业与集群生命周期绑定、资源独享、隔离性强” 的优势，适配大规模、高优先级、长运行时的 Flink 作业场景。但传统的 Flink YARN Application 作业发布方式（如 flink run-application -t yarn-application 命令行、脚本化提交），已难以满足企业对 “标准化、自动化、可管控、高可靠” 的运维诉求，基于 Java 实现程序化发布该模式作业，成为解决传统痛点、适配企业级落地的核心选择。

1.传统 Flink YARN Application 作业发布的核心痛点

  1. 发布流程碎片化，自动化适配难传统发布依赖 flink run-application 命令行手动执行，或通过 Shell 脚本封装参数，存在显著短板：一是参数体系复杂（需指定 YARN 队列、资源配额、依赖包、主类、HDFS 路径、Flink 配置等），易因参数遗漏、格式错误导致作业提交失败；二是无法无缝集成至企业 CI/CD 流水线、大数据调度平台，大量依赖人工操作，发布效率低且易引发人为故障；三是测试 / 生产等多环境的配置（如 YARN 资源规格、数据源地址、Flink 配置项）需手动修改脚本，缺乏统一的配置管理机制，环境一致性难以保障。

  2. 作业全生命周期管控能力缺失flink run-application 仅能完成作业 “提交” 动作，无法程序化管控作业全生命周期：提交后无法实时获取作业在 YARN 上的运行状态（ACCEPTED/RUNNING/FAILED/KILLED）、容器资源使用情况；作业异常时（如 JobManager 挂掉、TaskManager 异常退出）无法自动触发重试、扩容或告警；需人工登录 YARN ResourceManager、Flink WebUI 排查问题，运维成本高，且无法快速响应核心业务作业的故障。

  3. 与企业级系统集成性不足企业级场景中，作业发布需对接权限管控、资源审批、日志审计、成本计量等系统，但 flink run-application 作为独立命令行工具，无法直接联动这些系统：例如，提交前无法校验用户是否有 YARN 队列的使用权限，提交后无法自动记录作业的资源消耗用于成本核算，作业日志无法自动归集至企业统一日志平台（如 ELK），难以满足合规与精细化运维诉求。

  4. 多集群 / 多版本适配成本高企业往往部署多套 YARN 集群（测试 / 生产、异地容灾集群）、多个 Flink 版本，传统脚本化发布需为不同集群 / 版本维护不同的 flink run-application 脚本，版本兼容、集群地址切换成本高；且无法程序化识别 YARN 集群的资源余量，易将作业提交至资源不足的集群，导致作业启动失败。

2.Java 实现发布 Flink YARN Application 作业的核心价值

       Java 作为 Flink 底层开发的核心语言，也是企业级应用开发的主流语言，基于 Java 实现 Flink YARN Application 作业的程序化发布，本质是构建 “标准化、自动化、可管控、高集成” 的作业发布体系，解决传统方式的痛点：

  1. 标准化发布接口，提升自动化水平基于 Flink 官方提供的 YarnApplicationClusterDescriptor、ClusterClient 等 Java API 封装统一的发布接口，将 YARN Application 作业的核心配置（主类、jar 包路径、YARN 队列、资源配额、并行度、Flink 配置项、集群地址等）抽象为可配置参数，替代碎片化的 flink run-application 命令。该接口可无缝集成至企业 CI/CD 流水线（Jenkins、GitLab CI）、大数据调度平台，实现 “代码编译 - 打包 - 作业发布 - 状态校验” 的全流程自动化，减少人工干预，降低发布错误率。

  2. 全生命周期管控，强化运维能力Java 程序可通过 Flink Rest API、YARN ResourceManager REST API 联动作业与集群：提交作业后实时监听作业状态，捕获 ACCEPTED/RUNNING/FAILED 等状态变更；作业失败时自动触发重试逻辑（如重新提交作业至 YARN），或推送告警至企业监控平台（如 Prometheus、AlertManager）；作业运行中可查询 TaskManager 数量、CPU / 内存使用情况，拉取作业日志并归集至统一日志系统；作业完成后自动记录运行时长、资源消耗等数据，支撑成本核算与资源优化。

  3. 深度集成企业级系统，满足合规诉求Java 发布程序可对接企业现有系统：提交作业前调用权限系统校验用户 / 应用对 YARN 队列、Flink 资源的使用权限；提交过程中记录审计日志（提交人、时间、配置、集群信息），满足合规审计要求；作业运行后将资源消耗数据同步至成本计量系统，实现作业成本的精细化核算；同时可集成 Nacos、Apollo 等配置中心，统一管理多环境配置，避免手动修改脚本导致的配置不一致问题。

  4. 灵活适配多集群 / 多版本场景通过 Java 程序的配置化设计，将不同 YARN 集群的连接信息（ResourceManager 地址、HDFS 地址）、不同 Flink 版本的适配参数封装为配置项，发布作业时按需加载对应配置，无需修改核心代码即可适配多集群、多版本场景。例如，通过配置中心切换测试 / 生产集群的 YARN 地址，一键发布作业至目标集群；通过版本适配逻辑，自动兼容 Flink 1.15、1.18 等不同版本的 API 差异，降低版本升级成本。

3.典型应用场景

  1. 企业级流批一体计算平台作业发布：构建统一的 Flink 流批一体平台，基于 Java 实现 YARN Application 作业的标准化发布入口，支撑各业务部门提交大规模实时数仓同步、金融交易风控、物联网数据批流融合计算等作业，统一管控资源配额、权限、日志，提升平台易用性与可维护性。
  2. 核心业务长运行时作业发布：金融、电商等行业的核心业务作业（如 7×24 小时实时风控、订单实时计算），通过 Java 程序发布为 YARN Application 模式，利用其资源独享、隔离性强的优势保障作业稳定性，同时通过程序化监控实现故障快速响应。
  3. 多集群作业分发与容灾：企业部署多套 YARN 集群（本地集群、异地容灾集群），通过 Java 程序实现作业的批量发布、状态统一监控，当主集群故障时自动将作业切换至容灾集群，保障核心业务不中断。
  4. 业务系统触发的批流融合计算：供应链系统、用户画像系统等业务系统触发大规模批流融合计算需求时，通过 Java 接口直接发布 Flink YARN Application 作业，作业完成后将计算结果回调至业务系统，实现 “业务触发 - 批流计算 - 结果返回” 的闭环。

       综上，Java 实现发布 Flink YARN Application 模式作业，是企业将 Flink 流批一体计算能力从 “手工运维” 转向 “工程化、自动化管控” 的关键路径：既充分利用 Flink YARN Application 模式的资源独享、隔离性强的优势，又通过 Java 语言的企业级特性，解决发布碎片化、管控缺失、集成性差等痛点，适配企业级核心业务大数据处理的规模化、规范化诉求，为大规模、高可靠的流批一体计算场景提供稳定、可管控的发布支撑。

二.具体实现

1.添加依赖

<dependency>
	<groupId>org.apache.flink</groupId>
	<artifactId>flink-yarn</artifactId>
	<version>1.18.1</version>
</dependency>
<dependency>
	<groupId>org.apache.flink</groupId>
	<artifactId>flink-clients</artifactId>
	<version>1.18.1</version>
</dependency>
<dependency>
	<groupId>org.apache.hadoop</groupId>
	<artifactId>hadoop-yarn-api</artifactId>
	<version>3.2.1</version>
</dependency>

2.填充flink参数

Configuration flinkConfig = new Configuration();

flinkConfig.setString(JobManagerOptions.TOTAL_FLINK_MEMORY.key(), "1024m");
flinkConfig.setString(TaskManagerOptions.TOTAL_FLINK_MEMORY.key(), "1024m");
flinkConfig.setInteger(TaskManagerOptions.NUM_TASK_SLOTS, 4);
flinkConfig.setString(CoreOptions.FLINK_HADOOP_CONF_DIR, "/xxx/xxx");
flinkConfig.setString(YarnConfigOptions.APPLICATION_TYPE, "Flink");
flinkConfig.setString(PipelineOptions.JARS.key(), "");
flinkConfig.setString(YarnConfigOptions.APPLICATION_NAME.key(), "");
flinkConfig.setString(YarnConfigOptions.APPLICATION_TYPE.key(), "");
flinkConfig.setString(YarnConfigOptions.FLINK_DIST_JAR.key(), "");
flinkConfig.set(YarnConfigOptions.PROVIDED_LIB_DIRS, new ArrayList<>());
... ...

3.初始化客户端

DefaultClusterClientServiceLoader clusterClientServiceLoader = new DefaultClusterClientServiceLoader();
ClusterClientFactory clientFactory = clusterClientServiceLoader.getClusterClientFactory(flinkConfig);
ClusterDescriptor clusterDescriptor = clientFactory.createClusterDescriptor(flinkConfig);
ClusterClient<ApplicationId> clusterClient = null;

ClusterSpecification clusterSpecification = clientFactory.getClusterSpecification(flinkConfig);

ApplicationConfiguration applicationConfiguration = ApplicationConfiguration.fromConfiguration(flinkConfig);

4.提交作业

clusterClient = clusterDescriptor.deployApplicationCluster(clusterSpecification, applicationConfiguration).getClusterClient();
ApplicationId applicationId = clusterClient.getClusterId();
String jobManagerUrl = clusterClient.getWebInterfaceURL();

flink实战--Application模式下java程序将flink任务提交到yarn集群
阿华田的博客
01-19 3440
扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦 简介 对于单个flink任务提交到yarn集群，通过命令行的方式是能接受的，但是我们开发实时计算平台就需要通过代码的方式将我们管理的flink任务提交到yarn集群上去。本文主要介绍flink1.11新的部署模式–Application模式，具体Application模式和其他提交方式的区别可以参考我的这篇文章：flink on yarn。 程序提交flink任务的步骤 第一步：引入相关的配置到...
Flink1.11 Application Mode Submit Job 通过 Java API 的方式提交作业到 Yarn （实时计算平台）
三石
12-04 3624
实时计算平台
java实现发布flink yarn session模式作业
最新发布
luohualiushui1的专栏
12-08 341
java实现发布flink yarn session模式作业
Flink Yarn Java Api Application 模式发布应用
woshiyizhiyu0的博客
03-19 4503
背景 最近公司在做实时数仓,技术上选择flink作为数据处理引擎,同时需要将实时数仓cdc（ODS层），建模（DWD）等逻辑进行功能化集成到数据仓库中方便数仓开发人员进行使用。 由于离线平台使用Yarn作为资源管理器而flink也支持yarn,为通过api进行flink应用的启动停止最终使用flink yarn application 模式进行发布。 Flink Yarn 介绍 下图为flink官方架构图,主要说明了flink 应用在yarn application模式下用户jar包的执行过程。 将用户u
flink源码跟读：on yarn application模式作业提交
qq_34492129的博客
09-29 1656
很多细节自己还是没有把握，所以后期还是会把细节的东西研究清楚一下，比方说：选举过程细节。后期也会针对选举这一块整理一篇文章出来。。研究优秀的源代码也是发现自己不足的地方，很多时候写着写着发现了自己哪里不懂，就去查资料研究，一层一层的，感觉太多东西需要学习了。
本地环境提交flink on yarn作业
Cyanty的博客
11-29 1276
在使用云厂商提供的flink job管理平台时，通过界面操作提交flink任务到yarn上十分方便，那么开发调试时能否在本地环境直接提交flink任务到yarn呢？开源的flink管理平台有提交flink on yarn作业的代码实现，可以参照 streampark 里对应模块的代码实现本地环境下的flink on yarn作业的提交。其中 streampark-flink-client-core 作为提交flink job的核心模块，这里我们只关心flink on yarn作业的提交。
flink yarn模式3种提交任务方式
core815的专栏
12-10 2415
Yarn模式3种提交任务方式
Flink On Yarn运行模式：会话模式部署、单作业模式部署、应用模式部署
学亮编程手记
10-31 1968
YARN上部署的过程是：客户端把Flink应用提交给Yarn的ResourceManager，Yarn的ResourceManager会向Yarn的NodeManager申请容器。在这些容器上，Flink会部署JobManager和TaskManager的实例，从而启动集群。Flink会根据运行在JobManger上的作业所需要的Slot数量动态分配TaskManager资源。
Flink on yarn三种部署模式及区别
weixin_45322869的博客
03-07 1060
和。每种模式在等方面有不同的特点，适用于不同的场景。接下来详细介绍这三种部署模式及其适用场景。
Flink on YARN的第三种部署模式：Application Mode
LittleMagic's Blog
09-23 5993
前言 短文状态继续。 长久以来，在YARN集群中部署Flink作业有两种模式，即Session Mode和Per-Job Mode，而在Flink 1.11版本中，又引入了第三种全新的模式：Application Mode。本文先回顾两种传统模式的做法与存在的问题，再简要介绍Application Mode。 传统部署模式 Session模式 Session模式是预分配资源的，也就是提前根据指定的...
Flink-Application模式提交任务到Yarn集群，包括jar包提交方法和javaApi提交方法
clearlxj的博客
09-30 7885
Flink Application 对于per job模式，jar包的解析、生成JobGraph是在客户端上执行的，然后将生成的jobgraph提交到集群。如果任务特别多的话，那么这些生成JobGraph、提交到集群的操作都会在实时平台所在的机器上执行，那么将会给服务器造成很大的压力。 此外这种模式提交任务的时候会把本地flink的所有jar包先上传到hdfs上相应 的临时目录，这个也会带来大量的网络的开销，所以如果任务特别多的情况下，平台的吞吐量将会直线下降。 所以针对flink per job模式的一些
MVP改成MVVM模式
u014035162的专栏
12-05 834
面将登录示例改造成（基于 Android Jetpack 的 ViewModel + LiveData + DataBinding），核心是抛弃 Presenter 中间层，通过 ViewModel 管理数据和业务逻辑，LiveData 实现数据驱动 UI，DataBinding 简化视图与数据的绑定。
零基础学JAVA--Day41(IO文件流+IO流原理+InputStream+OutputStream)
Dxxyyyy的博客
12-05 912
文件在程序中是以流的形式来操作的流：数据在数据源（文件）和程序（内存）之间经历的路径输入流：数据从数据源（文件）到程序（内存）的路径输出流：数据从程序（内存）到数据源（文件）的路径。
基于Springboot2+Vue2的旅游景点购票系统
自学网站s.jf3q.com,菜鸟的成长之路
12-02 746
本系统是一个集旅游景点信息展示、在线购票、用户游记分享与互动交流于一体的综合性平台。核心价值在于提供便捷的景点门票预订服务，同时构建活跃的旅游社区，促进用户间的经验分享。
Java 缓冲区优化
qq_43427354的博客
12-02 769
在 Java 中，缓冲区（Buffer） 是一块用于临时存储数据的内存区域，核心作用是协调数据生产者和消费者的速度差异，减少频繁 I/O 操作或数据拷贝的开销，提升程序性能。它本质是 “数据中转站”，避免了直接对原始数据源（如文件、网络流、数组）的频繁读写，通过 “批量处理” 优化效率。
Drools规则引擎实战指南
qq_41262225的博客
12-05 491
Drools规则引擎实战指南摘要 Drools是一款开源的Java业务规则管理系统(BRMS)，通过将业务逻辑与代码分离，提高系统灵活性。本文介绍了Drools的核心架构，包括KieBase知识库、KieSession工作内存和规则执行队列Agenda。实战部分展示了Maven依赖配置、项目结构设计，以及实体模型定义方法。通过规则引擎，业务人员可直接维护业务规则，无需修改代码即可实现业务逻辑变更，显著提升系统可维护性。文章还提供了Spring Boot集成方案和规则文件组织结构，帮助开发者快速上手Drool
Java---集合
2301_80275859的博客
12-04 534
本文介绍了Java集合框架的核心概念和使用方法。主要内容包括：1）集合的基本概念和分类（单列集合Collection和双列集合Map）；2）Collection接口的常用方法（add、remove、contains等）和两种遍历方式（迭代器和增强for循环）；3）List接口特点（有序、可重复）及其实现类ArrayList、LinkedList和Vector的对比；4）Set接口特点（无序、不可重复）及其实现类HashSet和LinkedHashSet；5）底层数据结构分析，包括数组、链表和红黑树的应用场景
【开题答辩全过程】以 基于Javaweb的电动汽车充电桩管理系统为例，包含答辩的问题和答案
shiji9932的博客
12-03 465
本文介绍了一位14年经验的技术专家可提供的毕设支持服务，包括Java、Python等多语言项目开发与答辩指导。重点展示了一个"电动汽车充电桩管理系统"的答辩案例，详细说明了系统功能（预约管理、费用计算等）、技术实现（SpringBoot+Vue+MySQL）及关键问题解决方案（如预约冲突处理、断电检测机制）。文中提供了答辩问答实录，展现了从选题背景到技术细节的完整答辩过程，并附有评委的正面评价。最后建议学生可参考往届真实开题报告，提供选题指导、源码参考等服务，强调独立完成的重要性，同时表
实现一个功能：springboot项目启动将controller地址拼接打印到txt文件
极客鼠之家
12-07 441
本文介绍了一种在SpringBoot项目启动时自动扫描Controller接口地址并写入TXT文件的方法。通过实现一个工具类ControllerUrlScanner，利用Spring上下文获取所有Controller Bean，反射解析@RequestMapping等注解路径，拼接类级和方法级路径，最终将完整接口地址按规范格式写入指定TXT文件。该方案支持自定义文件路径，可自动处理路径格式统一，并区分不同HTTP请求方法（GET/POST等）。适用于学生管理系统等需要快速获取API接口清单的场景，便于开发调
FLink yarn模式
06-03
Flink YARN模式是在YARN集群上运行Flink任务的一种模式。使用YARN模式可以更好地利用集群资源，提高任务的并发度和可扩展性。Flink YARN模式的部署可以分为以下几个步骤： 1. 准备YARN环境：首先需要在YARN集群中准备好Java环境和Flink的安装包。可以使用Hadoop的命令行工具hdfs dfs来上传Flink安装包到HDFS中。 2. 配置Flink：编辑Flink的配置文件，设置Flink集群的参数，如TaskManager数量、内存等。同时需要配置Flink的YARN相关参数，如yarn.application.name、yarn.queue、yarn.container.memory等。 3. 提交Flink任务：使用Flink提供的yarn-session.sh脚本来启动Flink YARN Session，将Flink任务提交到YARN集群中运行。启动命令如下： ``` ./bin/yarn-session.sh -n 3 -jm 1024m -tm 1024m ``` 其中-n参数指定TaskManager的数量，-jm和-tm参数分别指定JobManager和TaskManager的内存大小。 4. 监控Flink任务：使用Flink Web Dashboard或YARN的ResourceManager Web UI来监控Flink任务的执行情况。可以查看任务的运行状态、日志信息、资源使用情况等。 需要注意的是，在Flink YARN模式中，Flink任务的运行依赖于YARN集群的资源管理，因此需要根据集群的实际情况来配置Flink的YARN参数。同时，由于YARN集群的资源是动态变化的，因此在任务运行过程中可能需要调整Flink集群的配置和参数，以更好地适应集群资源的变化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

路边草随风

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值