Flink Yarn的2种任务提交方式

最新推荐文章于 2024-12-31 22:27:14 发布

原创

最新推荐文章于 2024-12-31 22:27:14 发布 · 4.2k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#1024程序员节 #flink #yarn

本文介绍了Flink在Yarn上两种任务提交方式：Pre-Job模式和Session模式。Pre-Job模式每次运行任务时会单独申请资源，任务结束后资源释放；Session模式则是在Yarn上预先申请资源，所有任务共享。详细阐述了两种模式的参数设置、运行流程及适用场景。

Flink Yarn的2种任务提交方式

Pre-Job模式介绍

每次使用flink run运行任务的时候，Yarn都会重新申请Flink集群资源（JobManager和TaskManager），任务执行完成之后，所申请的Flink集群资源就会释放，所申请的Yarn资源是独享的，不与其他任务分享资源。

运行命令

./bin/flink run -m yarn-cluster -yn 3 -ys 12 
-p 4 -yjm 1024m -ytm 4096m ./examples/batch/WordCount.jar

参数解读：
-p 并行度
-yn Task Managers数量
-ys 每个TaskManager的Slot数量
-yjm 每个JobManager内存 (default: MB)
-ytm 每个TaskManager内存 (default: MB)

Session模式介绍

需要先在yarn上先分配一个flink集群，后续所有任务都共享这个Flink集群上的资源，该Flink不会因为任务的结束而终止。

先向Yarn申请Flink所需资源

flink客户端目录下，执行如下命令：

bin/yarn-session.sh -jm 1024m -tm 4096m -n 4 -s

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

shadon178

关注关注

0
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

Flink在yarn模式下任务提交流程

机器之心

09-11

320

集群生命周期：Flink应用程序集群是一个专用的Flink集群，仅执行来自一个Flink应用程序的作业，而main()方法在集群上运行而不是客户端上运行。一旦作业完成，Flink作业集群将被关闭。JobManager具有与协调Flink应用程序的分布式执行相关的多项职责：它决定何时安排下一个任务（或一组任务），对已完成的任务或执行失败作出反应，协调检查点，并在故障时协调恢复，等等。Flink应用程序的作业可以提交到长时间运行的Flink会话集群、专用的Flink作业集群（已弃用）或Flink应用程序集群。

Flink 的yarn 两种提交方式

wudonglianga的专栏

03-30

3843

Flink 的yarn 两种提交方式标题第一种 1.yarn-session.sh + flink run(提交任务) 命令：优缺点：特点：需要事先申请资源，启动JobManager和TaskManger 优点：不需要每次递交作业申请资源，而是使用已经申请好的资源，从而提高执行效率缺点：作业执行完成以后，资源不会被释放，因此一直会占用系统资源应用场景：适合作业递交比较频繁的场景，小作业比较多的场景 /opt/module/flink-1.12.0/bin/yarn-session.sh -n

参与评论您还未登录，请先登录后发表或查看评论

Flink 提交到 Yarn的两种模式

yqqの博客

12-25

4810

Flink on Yarn 模式的原理是依靠 YARN 来调度 Flink 任务，目前在企业中使用较多。这种模式的好处是可以充分利用集群资源，提高集群机器的利用率，并且只需要 1 套 Hadoop 集群，就可以执行 MapReduce 和 Spark 任务，还可以执行 Flink 任务等，操作非常方便，不需要维护多套集群，运维方面也很轻松。Flink on Yarn 模式需要依赖 Hadoop 集群，并且 Hadoop 的版本需要是 2.2 及以上。 Flink On Yarn 的内部实现原理：当

Flink源码解析之：Flink On Yarn模式任务提交部署过程解析

大数据开发、JAVA开发、人工智能AI

12-31

2597

Flink源码解析之：Flink On Yarn模式任务提交部署过程解析

Flink on yarn部署及任务提交

qq_24095055的博客

08-04

3045

文章目录1. 完成hadoop本地配置后启动2. flink提交作业到yarn的两种方式2.1 Flink ON Yarn启动流程2.2 Flink YARN Session2.2 Run a single Flink job on YARN Hadoop单机yarn配置可参考博客，除了里面提到的./start-yarn.sh外，也可以使用./start-all.sh。 1. 完成hadoop本地配置后启动 # yarn方式启动，也可以使用 ./start-yarn.sh ~/software/hadoop

flink yarn模式3种提交任务方式

core815的专栏

12-10

2460

Yarn模式3种提交任务方式

Flink on Yarn三部曲之三：提交Flink任务

程序员欣宸的博客

04-07

6648

Flink on Yarn在使用的时候分为两种模式，Job Mode和Session Mode，一起来体验这两种模式

flink yarn-perjob任务提交流程

m0_46449152的博客

02-10

2354

1、由脚本bin/flink 进入org.apache.flink.client.cli.CliFrontend CliFrontend main -> cli.parseAndRun -> run -> executeProgram -> ClientUtils.executeProgram -> program.invokeInteractiveModeForExecution() -> callMainMethod -> mainMethod.invoke

flink on yarn提交任务的两种方式

热门推荐

阿尼古

03-22

1万+

flink on yarn提交任务的两种方式 flink on yarn 有两种提交方式： (1)、启动一个YARN session(Start a long-running Flink cluster on YARN)； (2)、直接在YARN上提交运行Flink作业(Run a Flink job on YARN)。简单bb两句，其实很好理解，一种是yarn-cl...

Flink Yarn提交流程

Wai0210的博客

05-11

511

Flink Yarn提交流程

Apache Flink 的 YARN Session 提交流程

Shockang的博客

07-17

2087

从总体上来说，在 Yarn 集群上使用 Session 模式提交 Flink 作业的过程分为 3 个阶段： - 首先在 Yarn 上启动 Flink Session 模式的集群； - 其次通过 Flink Client 提交作业； - 最后进行作业调度执行。

Flink的Yarn-Per-Job提交指令

mp9105的博客

05-18

1万+

Flink的yarn-per-job提交 0.运行环境 Flink版本：Flink 1.13.0 集群环境：CDH6.3.2 新版本的Flink可以通过-t参数提交统一格式的任务，日常工作中通常使用Per-Job On Yarn模式提交任务主要描述该部分的提交流程 1.提交任务提交任务主要是通过./bin/flink run -t yarn-per-job完成常用的提交指令如下 ./bin/flink run \ # 指定yarn的Per-job模式，-t等价于-Dexecution.target -

flink on yarn两种提交模式

学亮编程手记

07-05

1166

在yarn上运行一个任务，必须要启动HDFS！！！ Flink On Yarn的两种提交模式

[1131]Flink(1.13)命令行提交Job

周小董

04-23

4142

文章目录Per-Job-Cluster新老版本启动方法Session-ClusterPer-Job-Cluster 与 Session-Cluster 区别ApplicationPer-Job-Cluster 与 Application 区别高可用配置Yarn 高可用和Standalone 高可用区别查看flink提交任务 Flink提供了yarn上运行的3模式，分别为Application Mode, Session-Cluster和Per-Job-Cluster模式。 Yarn 模式会动态申请资源

Yarn部署模式下Flink单作业提交流程详解！！

gene20200509的博客

09-22

1319

大数据技术之flink yarn部署模式下单作业提交流程

Flink学习笔记之提交任务

weixin_45524021的博客

01-09

1320

提交任务的形式有多种一、Web页面提交方式在集群启动之后, 在localhost:8081 可以很清楚的查看到集群的运行状态, TaskManager、JobManager等等。打包处理的时候还会涉及并行度的问题,我们可以根据情况自行设置。并行度问题：env 可以设置环境的并行度,每一步操作都可以设置 setParallelism 并行度。并行度优先级: 代码 -》全局 -》提交JobWeb-》集群配置文件默认并行度。 show plan 查看执行的 ...

如何在Spark，MapReduce和Flink程序里面指定JAVA_HOME

优快云_Hzx的博客

06-04

1847

最近遇到一个bug，自己编写的spark程序本地调试没问题之后想提交到集群上运行，报错内容如下： Exception in thread "main" java.lang.UnsupportedClassVersionError: com/iteblog/mobile/UserMobileInfo : Unsupported major.minor version 52.0 现特此整理了一下分享给大家：其实报错已经很明显了，java8版本有问题，那具体原因是什么呢，其实就是本地编写spark用的是j

Flink任务提交on-YARN

qq_40169915的博客

11-29

1299

1. yarn-session 模式任务提交配置环境变量 HADOOP_CLASSPATH 否则yarn-session.sh命令会报错 ######## HADOOP_HOME export HADOOP_HOME=/opt/hadoop-3.1.3 export PATH=$HADOOP_HOME/bin:$PATH export PATH=$HADOOP_HOME/sbin:$PATH ####### HADOOP_CLASSPATH export PATH=/opt/myshell:$PATH e

flink yarn模式提交任务出错

weixin_50656879的博客

03-27

1183

flink yarn方式提交出现错误的分析

flink on yarn任务提交流程

最新发布

12-25

<think>我们有一个用户问题：“我想了解Flink在YARN上的任务提交流程请问Flink on YARN任务提交流程详解” 根据提供的引用，我们可以总结出Flink on YARN的提交流程，并且注意到有三种提交模式：Session模式、Per-Job模式（已废弃）和Application模式（Flink 1.11+）。由于引用中提到了三种模式，但用户要求详解流程，我们将重点放在通用的流程上，并区分不同模式的特点。步骤： 1. 首先，Flink on YARN的提交流程都依赖于YARN作为资源管理器，因此会通过YARN Client提交应用。 2. 在提交过程中，需要将Flink相关的文件（如Flink的jar包、用户jar包、配置文件等）上传到HDFS，以便YARN的Application Master和Task Manager容器可以下载这些资源。 3. 然后，YARN ResourceManager会为应用分配一个容器来启动Application Master（AM）。在Flink中，AM就是JobManager（在Session模式中）或者Application Master（在Application模式中，它同时运行JobManager和用户程序的main方法）。 4. AM负责申请资源（容器）来启动TaskManager。 5. 任务执行：TaskManager启动后，会向JobManager注册，然后JobManager将任务分配给TaskManager执行。不同的提交模式： - Session模式：先启动一个Flink集群（集群中包含JobManager和TaskManager），然后提交作业到这个集群。多个作业共享集群资源。 - Per-Job模式（已废弃）：每个作业启动一个独立的Flink集群，作业完成后集群释放。在Flink 1.11之后被Application模式取代。 - Application模式：也是每个作业启动一个集群，但是与Per-Job不同的是，Application模式下，用户程序的main方法在JobManager上运行，而不是在客户端运行。这样可以减轻客户端的负担，并且允许在提交作业后客户端可以断开连接。根据引用[3]，Application Mode为每个提交的应用创建一个集群，且main()方法在JobManager上执行。因此，我们将按以下结构回答： 1. 总体流程（通用步骤） 2. 不同提交模式的区别（Session模式和Application模式，因为Per-Job已废弃） 3. 详细步骤（以Session模式和Application模式为例分别说明）注意：由于引用中提到了上传文件到HDFS和YARN的LocalResource机制，我们需要在流程中说明。另外，根据引用[2]中的代码说明，Flink通过YARN Client提交应用，启动AM进行资源申请和任务调度。我们按照用户要求，使用中文回答，并注意格式要求（数学表达式用$...$，独立公式用$$...$$，但本题可能没有数学公式，所以可以忽略）。同时，在回答末尾生成相关问题。由于用户要求“尽可能多的参考用户上一次的问题和你的回答”，但这是第一次回答，所以我们只根据当前信息回答。回答结构： 1. Flink on YARN 任务提交流程概述 2. 详细步骤（分步解释） 3. 不同提交模式的流程差异 4. 总结最后，生成相关问题。 </think> ### Flink on YARN 任务提交流程详解 Flink on YARN 的任务提交流程基于 YARN 的资源管理框架实现，核心是通过 YARN Client 提交应用，由 Application Master（AM）协调资源分配和任务调度。以下是详细流程（以 Application 模式为例）： #### **1. 资源准备与上传** - 用户通过 `flink run-application` 提交任务时，Flink 客户端会将以下文件上传至 HDFS： - Flink 发行版的 lib/、plugins/ 目录 - 用户 JAR 包（应用程序代码） - 配置文件（flink-conf.yaml） - 文件上传后生成唯一路径（如 `hdfs://.../appId`），供 YARN 节点下载[^1][^2]。 #### **2. 申请 Application Master** - YARN Client 向 ResourceManager (RM) 提交应用请求，申请启动 AM 的容器。 - RM 分配容器后，NodeManager 启动 AM 进程（即 Flink 的 JobManager）。 ```mermaid graph LR A[Client] -->|1. 提交应用| B[ResourceManager] B -->|2. 分配容器| C[NodeManager] C -->|3. 启动| D[Application Master/JobManager] ``` #### **3. 启动 TaskManager** - AM 向 RM 申请运行 TaskManager 的容器资源（基于用户配置的 Slot 数量）。 - RM 分配容器后，AM 通知 NodeManager 启动 TaskManager 进程。 #### **4. 任务执行** 1. TaskManager 启动后向 JobManager 注册 Slot。 2. JobManager 将用户程序的 JobGraph 解析为执行计划，分发给 TaskManager。 3. **Application 模式特性**：用户程序的 `main()` 方法在 JobManager 上执行（非客户端），生成数据流图并提交执行[^3]。 #### **不同提交模式对比** | **模式** | **资源分配** | **main()执行位置** | **适用场景** | |----------------|--------------------------|---------------------|-------------------------| | **Session 模式** | 预先启动集群，作业共享资源 | 客户端 | 短作业/测试环境 | | **Per-Job 模式** | 每作业独立集群（已废弃） | 客户端 | 资源隔离（被替代） | | **Application 模式** | 每应用独立集群 | JobManager | 生产环境/减轻客户端压力[^3] | #### **关键机制** - **LocalResource**：YARN 将 HDFS 上的文件分发到容器本地，避免重复下载。 - **高可用**：JobManager 异常时，YARN 自动重启 AM 并从检查点恢复任务。 > **流程总结**：文件上传 → 启动 AM（JobManager）→ 申请资源启动 TaskManager → 注册 Slot → 分发执行计划 → 运行用户代码。