Flink on YARN的Pre-Job-Cluster模式

已于 2023-10-21 14:35:29 修改
阅读量188 收藏
点赞数
文章标签： flink
于 2023-10-21 14:31:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/PLUTOprivate/article/details/133961018
版权
本文详细介绍了如何在ApacheFlink中使用YARN的Pre-Job-Cluster模式部署应用，包括打包jar、启动会话、提交应用程序以及会话结束后资源释放的步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在Flink on YARN的Pre-Job-Cluster模式（yarn-cluster）下：

  1. 编写您的Flink应用程序代码。
  2. 打包并上传您的应用程序jar文件到Hadoop HDFS或本地文件系统。
  3. 使用yarn-session.sh脚本启动一个YARN会话，命令行中需要指定-preJobCluster选项，以便创建一个支持Pre-Job-Cluster模式的YARN会话。例如，在Flink的bin目录下执行以下命令：

./yarn-session.sh -jm 1024m -tm 1024m -n 3 -s 3 -nm yourAppName -d -preJobCluster

其中，-jm和-tm选项用于指定JobManager和TaskManager的内存大小，-n选项指定了集群中NodeManager的数量，-s选项指定了集群中Slot的数量。-nm选项指定了您要启动的YARN会话的名称。-d选项表示在后台运行YARN会话。

  1. 在启动的YARN会话中提交您的应用程序。在您的应用程序jar文件所在的目录中运行以下命令：

./flink run -m yarn-cluster -yn 3 -ys 3 -c yourMainClass yourJarFile arg1 arg2 ...

其中，-m选项指定了提交模式为yarn-cluster，-yn选项指定了需要的NodeManager数量，-ys选项指定了每个NodeManager可以提供的Slot数量，-c选项指定了您的应用程序的主类名，yourJarFile是您的应用程序jar文件的名称，arg1、arg2等是可选的命令行参数。

  1. 当任务完成后，关闭YARN会话。在Flink的bin目录下执行以下命令：

./yarn-session.sh -id applicationId -k

其中，applicationId是您之前启动的YARN会话的ID，可以通过yarn application命令获取。-k选项表示关闭YARN会话并释放所有资源。

####如有侵权请联系删除#### 

【Flink】flink on yarn per-job模式jobmanager不退出
九师兄
04-29 932
flink on yarn per-job模式，使用savepoint 保存点停止任务后，yarn界面上还剩下一个jobmanager 一直显示在。yarn-cluster -d 加上， 不加-d task结束会保留jobmanager。原因一样，后来发现不是。开始遇到这个问题以为和。
Flink实例（五十三）: flink 作业提交（三）yarn 提交模式（二）Flink on YARN Per-Job模式
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 2379
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 Flink on YARN Per-Job模式 首先将之前在 yarn 上运行的应用和相关进程给kill掉： [root@hadoop01 ~]# yarn application -kill application_1601372571363_0001 [root@hadoop01 ~]# jps 6995 SecondaryNameNode 7204 ResourceManag
Flink实战（十）Flink on Yarn模式
wuhulala的休息室
04-02 2209
文章目录概述模式1 Yarn Per Job实践模式2 Yarn On Session实践参考资料 概述 FLink 如何执行在Yarn上面的呢？ 首先我们需要了解到Flink的底层执行流程，然后看哪一步与Yarn进行适配，执行。 Flink底层执行流程： 用户通过 DataStream API、DataSet API、SQL 和 Table API 编写 Flink 任务，它会生成一个J...
【Flink】yarn集群模式
Chain的博客
08-24 952
Linux - export 命令的生命周期 : 断开会话后 export 的环境变量不生效；支持会话级别的新增、删除和修改环境变量，用作之后的程序使用，仅仅用作此次会话期间；flink系列 转载自作者：Z尽际链接：https://www.jianshu.com/p/f63b7e1e6e09来源：简书著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
Flink Cluster On YARN部署
shirukai
09-23 2320
Flink Cluster On YARN部署 Flink版本：1.8.2 Hadoop: 3.0.3 参考文章： 文中关于Per-Job、Session模式的描述摘自《Deploy Apache Flink® Natively on YARN/Kubernetes》 https://ververica.cn/developers/deploy-apache-flink-natively-on-yarn-kubernetes/ Flink在YARN上部署有两种模式，一种是Session模式，另一种是Pe
Flink集群之Flink Yarn Cluster部署
渐宽阁读书小弟
03-31 1629
文章目录前言准备环境 前言 flink应用提交到Yarn上目前支持两种模式： （1）Yarn Session Model：Flink会向hadoop Yarn 申请足够多的资源，并在Yarn上启动长时间运行的Flink Session集群，用户可以通过RestAPI或Web页面将Flink任务提交到Flink Session集群上运行。 （2）Single Job Model：每个Flink任务单...
flink在Standalone、Session Cluster、Per Job Cluster模式下提交任务
qq_43118086的博客
07-21 748
Standalone 提交任务 flink run -c com.dylan.wc.StreamWordCount -p 1 /usr/local/xxx.jar 停止任务 flink cancel jobid 列举正在运行任务 flink list 列举正在全部任务 flink list -a Session Cluster 启动 yarn-session ./yarn-session.sh -n 2 -s 2 -jm 1024 -tm 1024 -nm test -d 其中： -n(–container
Flink中三种模式：YARN Session 模式、YARN Per-Job 模式和 YARN Application 模式提交任务命令
最新发布
JustinMars的博客
07-30 845
在 Apache Flink 中，YARN 提供了多种模式来提交和管理作业，每种模式都有其独特的特点和适用场景。主要有以下三种模式：YARN Session 模式、YARN Per-Job 模式和 YARN Application 模式。
Flink On Yarn模式：Yarn-session模式与Pre-Job模式的比较
TechWhiz的博客
08-15 301
在本文中，我们将重点讨论在Flink On Yarn模式下的两种常见使用模式：Yarn-session模式和Pre-Job模式，并比较它们之间的区别。Yarn-session模式是指在Flink On Yarn模式下，用户可以启动一个长期运行的Flink集群，称为Yarn会话（Yarn Session）。资源隔离：Yarn-session模式中，每个Flink任务在Yarn会话中运行在独立的容器中，而Pre-Job模式中每个作业都有自己的Yarn应用。独立性强：每个作业有自己的资源配置，相互之间不影响。
Flink Yarn Per Job - Yarn应用
hyunbar的博客
08-01 1225
决定后面什么类型的执行器提交任务yarn-session、yarn-per-job。是否指定为per-job模式，即指定”-myarn-cluster”;是否存在flink在yarn的appID，即yarn-session模式是否启动。executor的名字为“yarn-session”或“yarn-per-job”Generic、Yarn、Default三种命令行客户端。依次是Generic、Yarn、Default。匹配一个“-”的参数或者两个“–”的参数。...
高可用Flink on YARN集群快速配置
云祁QI
11-09 845
我们长久以来一直使用Spark作为离线和近实时计算框架，几乎承担了主要业务中所有的计算任务。最近Flink逐渐兴起，我们通过查阅资料和参加Meetup，了解到Flink在实时计算方面确实比Spark有优势。我们正准备涉足实时业务，实时数仓、实时推荐这些东西总是要有的，快速上手Flink势在必行。 Flink的官方文档比较详尽，并且设计理念与Spark多有相通，理解成本较低。Flink有多种集群部署方式（Local/Standalone/YARN/K8s/Mesos等等），考虑到已经有现成的YARN和Zoo
Flink安装及WordCount实例yarn-cluster提交
heccxx的博客
11-19 1780
flink flink（基于数据流上的有状态计算） flink的特点： 事件驱动型 事件驱动型应用是一类具有状态的应用，它从一个或多个事件六提取数据，并根据到来的事件触发计算、状态更新或其他外部动作。（SparkStreaming是微批次，将批次更加微小化） 实时流处理 批处理的特点是有界、持久、大量。非常适合需要访问全套记录才能完成的计算工作，一般用于离线计算。 流处理的特点是无界、实时...
【回顾】flink1.12+作业以per-job模式部署在yarn-cluster的异常，flink日志配置及webui日志输出，重启作业后checkpoint恢复
yxluojiecpp的博客
09-12 1533
flink作业yarn部署遇到的异常 flink日志配置webui日志输出 重启flink作业后checkpoint恢复
Flink on Yarn 部署Session-Cluster和Per-Job-Cluster
热门推荐
zhangxm_qz的博客
08-21 1万+
文章目录原理介绍Flink on Yarn模式部署启动Session-Clusterm模式Per-Job-Cluster模式 Flink on Yarn 模式的原理是依靠 YARN 来调度 Flink 任务，目前在企业中使用较多。这种模式的好处是可以充分利用集群资源，提高集群机器的利用率，并且只需要 1 套 Hadoop集群，就可以执行 MapReduce 、Spark和Flink 任务，操作非常方便，运维方面也很轻松。Flink on Yarn 模式需要依赖 Hadoop 集群，并且Hadoop 的版本需
Flink on yarn运行的Session-Cluster和Per-Job-Cluster模式详解
sunxunyong的博客
07-08 479
Attached模式下，Flink Client创建完集群后，不能关闭命令行窗口，需要与集群之间维持连接，好处是能够感知集群的退出，集群退出之后有机会做一些资源清理等动作，此处的清理是Flink作业可能占用外部的资源。bin/flink run -d -m yarn-cluster #-d（表示 detached 模式） -m yarn-cluster（表示指定 YARN 集群模式） 启动per-job运行模式。在向Flink集群提交Job的时候, 如果资源被用完了,则新的Job不能正常提交。
flink on yarn 提交命令
Sen的博客
02-20 6160
文章目录flink on yarnFlink on Yarn的两种运行方式第一种【yarn-session.sh(开辟资源)+flink run(提交任务)】/bin/yarn-session.sh 命令分析：第二种【flink run -m yarn-cluster(开辟资源+提交任务)】/bin/flink run 命令分析：Flink在YARN上的恢复行为 flink on yarn Fli...
Flink（五十一）—— 一张图轻松掌握 Flink on YARN 基础架构与启动流程
weixin_42073629的博客
10-22 517
Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式，其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章，分为上、下两篇。本文基于 FLIP-6 重构后的资源调度模型将介绍 Flink on YARN 应用启动全流程，并进行详细步骤解析。 Flink on YARN 应用启动流程图 Flink on YARN 集群部署模式涉及 YARN 和 Flink 两大开源框架，应用启动流
flink的yarn模式部署
qianfeng_dashuju的博客
07-08 2075
1、yarn cluster 模式部署介绍 mr和spark都可以基于yarn模式部署，flink也不例外，生产中很多也基于yarn模式部署。 flink的yarn模式部署也分为两种方式，一种是yarn-session，一种是yarn-per-job。大致如下图： 2、flink session HA模式 需要先启动集群，然后在提交作业，接着会向yarn申请一块资源空间后，资源永远保持不变。如果资源满了，下一个作业就无法提交，只能等到yarn中的其中一个作业执行完成后，释放了资源，那下一个.
Flink03: 集群安装部署
anglemanyi的博客
02-19 1072
Flink支持多种安装部署方式这些安装方式我们主要讲一下standalone和on yarn。如果是一个独立环境的话，可能会用到standalone集群模式。在生产环境下一般还是用on yarn 这种模式比较多，因为这样可以综合利用集群资源。和我们之前讲的spark on yarn是一样的效果，这个时候我们的Hadoop集群上面既可以运行MapReduce任务，Spark任务，还可以运行Flink任务，一举三得。
Flink Yarn-Per-Job中，applicationmaster是不是就是JobManager？
07-13
是的，Flink Yarn-Per-Job模式中的application master就是JobManager。在Yarn-Per-Job模式下，每个Flink作业都会在YARN集群上启动一个独立的应用程序主管（application master），负责协调和管理该作业的执行。这个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值