Flink源码浅析: Yarn-per-job模式解析TaskManager启动大数据

最新推荐文章于 2024-03-28 10:57:21 发布

程序才子

最新推荐文章于 2024-03-28 10:57:21 发布

阅读量196

点赞数 1

CC 4.0 BY-SA版权

文章标签：大数据 flink

本文链接：https://blog.youkuaiyun.com/TechWhiz/article/details/132573769

大数据专栏收录该内容

182 篇文章 ¥59.90 ¥99.00

订阅专栏

本文深入探讨Flink在Yarn-per-job模式下TaskManager的启动过程，包括TaskManagerRunner的创建与初始化，TaskExecutor线程的启动，TaskManager的注册与任务执行，以及源码解析，帮助理解Flink在Yarn集群的工作机制。

Flink源码浅析: Yarn-per-job模式解析TaskManager启动大数据

Flink是一个开源的流式处理框架，广泛应用于大数据处理领域。在Flink中，Yarn-per-job模式是一种常见的部署模式，它允许用户在Yarn集群上启动和管理Flink作业。本文将深入探讨Yarn-per-job模式下TaskManager的启动过程，并结合相应的源代码进行解析。

Yarn-per-job模式简介
Yarn-per-job模式是指每个Flink作业都会启动一个独立的Yarn Application Master，并在其上启动一个或多个TaskManager。这种模式的优点是可以更好地隔离不同的作业，提高资源的利用率。
TaskManager的启动过程
在Yarn-per-job模式下，TaskManager的启动由Application Master负责。下面是TaskManager启动的主要步骤：

2.1. 创建TaskManagerRunner
在Flink中，TaskManager通过TaskManagerRunner来启动和管理。在Yarn-per-job模式下，Application Master会创建TaskManagerRunner实例，并为其提供必要的配置信息。

TaskManagerRunner runner =

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

程序才子

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

订阅专栏

Flink源码解析：YARN-per-job模式下TaskManager启动与大数据处理

TechWhiz的博客

08-16

236

在YarnResourceManager中，会根据YARN提供的资源信息和Flink配置的并行度等参数，动态计算出需要启动的TaskManager数量，并为每个TaskManager创建一个容器。使用YARN-per-job模式启动该作业时，Flink会根据配置的资源参数和并行度等信息，在YARN上启动一个或多个TaskManager实例，并分配相应的资源。YARN-per-job模式是指每个Flink作业都会在YARN上启动一个独立的应用程序，该应用程序包含一个或多个TaskManager实例。

Flink源码解析：yarn-per-job模式解析、yarn提交过程解析、大数据

2301_79366435的博客

09-02

503

同时，通过对yarn提交过程的详细解析，我们能够掌握作业的提交和执行流程，从而更好地使用Flink进行大数据处理。TaskManager会从ResourceManager获取分配给它的资源，并根据Flink应用程序的配置文件初始化，然后开始执行作业的任务。在提交作业之前，需要准备作业的相关资源，其中包括作业的可执行Jar包、配置文件等。（2）ApplicationMaster：在一个容器中启动的YARN应用程序的主进程，负责与ResourceManager协调资源、处理作业的启动和监控等工作。

参与评论您还未登录，请先登录后发表或查看评论

Flink Yarn Per Job - 创建启动Dispatcher RM JobManager

hyunbar的博客

03-03

296

Flink的Yarn-Per-Job提交指令

热门推荐

mp9105的博客

05-18

1万+

Flink的yarn-per-job提交 0.运行环境 Flink版本：Flink 1.13.0 集群环境：CDH6.3.2 新版本的Flink可以通过-t参数提交统一格式的任务，日常工作中通常使用Per-Job On Yarn模式提交任务主要描述该部分的提交流程 1.提交任务提交任务主要是通过./bin/flink run -t yarn-per-job完成常用的提交指令如下 ./bin/flink run \ # 指定yarn的Per-job模式，-t等价于-Dexecution.target -

Flink内核源码（一）任务提交流程

小朱小朱绝不认输的博客

07-12

2804

Flink内核源码学习，对于Yarn-per-job模式的任务提交过程，通过源码深入了解执行过程。

FlinkYARN调度

GavinKai

04-02

671

Apache Hadoop YARN 入门介绍准备在YARN上启动Flink会话 YARN上Flink支持的部署模式应用模式每作业群集模式会话模式在YARN参考上的Flink 在YARN上配置Flink 资源分配行为 YARN的高可用性支持的Hadoop版本。在防火墙后面的YARN上运行Flink 用户罐子和类路径入门本入门部分将指导您在YARN上设置功能齐全的Flink群集。介绍 Apache Hadoop YAR

【flink】Flink 1.12.2 源码浅析 : yarn-per-job模式解析 yarn 提交过程解析

九师兄

08-06

1230

1.概述转载：Flink 1.12.2 源码浅析 : yarn-per-job模式解析 [二] 请大家看原文去。接上文Flink 1.12.2 源码分析 : yarn-per-job模式浅析 [一] . CliFrontend类最终会调用我们自己写的代码,入口类是main方法. 整体流程图细节图整体代码如下: package org.apache.flink.streaming.examples.socket; import org.apache.flink.api.common.funct.

Flink源码浅析: YARN-per-job模式解析——JobMaster启动YarnJobClusterEntrypoint

2301_79366435的博客

09-02

270

本文中，我们通过对Flink源代码的分析，深入探讨了YARN-per-job模式下的JobMaster启动和YarnJobClusterEntrypoint的实现。YARN-per-job模式是Flink在YARN上运行的一种模式，它允许每个Flink作业在YARN上启动一个独立的YARN应用。该类负责解析命令行参数、初始化和启动YARN应用程序。在本文中，我们将深入探讨Flink中的YARN-per-job模式，重点关注JobMaster的启动和YarnJobClusterEntrypoint的实现。

【flink】Flink 1.12.2 源码浅析 : yarn-per-job模式解析从脚本到主类

九师兄

08-06

1058

1.概述转载：Flink 1.12.2 源码浅析 : yarn-per-job模式解析 [一] 可以去看原文。这里是补充专栏。 2. 前言主要针对yarn-per-job模式进行代码分析. 看看都干了啥… 二 .启动程序入口 2.1. 启动数据服务端先打开数据的服务端 nc -lk 9999 2.2. 提交Flink 任务. 打开flink消费服务端9999里面的数据. 执行命令 : cd ${FLINK_HOME} flink run -t yarn-per-job -c org.apache

flink集群使用yarn per-job提交jar任务

信徒博客

03-27

687

link 1.11开始官方不再维护flink-shaded-hadoop-2-uber jar，可以使用之前版本的shade，社区建议导入hadoop classpath，执行这行代码，不需要改任何东西。这个错误的原因是没有指定入口类的地址，如org.example.job.T4301MesDownline。有一个疑问，当我把flink任务提交给yarn集群进行资源调度管理的时候，因为此时用的是hadoop的yarn的集群，而不是自带的集群！把flink的资源调度管理交给专业的框架yarn框架去做！

Flink源码分析(1)Flink Per-Job启动流程分析

道可道非常道

03-09

652

通过深入源码，你将更好地理解Flink的执行模型、任务调度策略和容错机制。此外，学习Flink提交流程的源码还有助于扩展Flink，定制化特定功能，以满足个性化需求。根据shell脚本内容可知，紧接着调用了org.apache.flink.client.cli.CliFrontend.main执行flink任务，同时将shell参数原样传递给Flink程序;这里主要通过反射方式调用执行用户代码程序，这个方法调用成功后就进入到了我们自己编写程序的main方法，即WordCount.main()方法。

flink on yarn-per job源码解析、flink on k8s介绍

weixin_51981189的博客

03-28

1342

YARN per job模式下用户程序在Client端被执行，Client端即执行flink shell命令的执行节点。Client端主要工作就是将用户写的代码转换为JobGraph，向YARN提交应用以执行JobGraph。PipelineExecutor（YarnJobClusterExecutor）将StreamGraph转换为JobGraphClusterDescriptor（YarnClusterDescriptor）通过YARN部署flink集群以执行JobGraph。

Flink源码探究：yarn-per-job模式解析——从脚本到主类

BugCrusher的博客

08-14

257

其中，Flink的yarn-per-job模式可实现将Flink应用提交到YARN集群上进行分布式运行。本文将深入解析Flink在yarn-per-job模式下的实现原理，涉及从脚本到主类的过程，并附有相应源代码。用户可以通过Shell脚本将Flink作业以yarn-per-job模式提交到YARN集群上运行，脚本中包含了关键的Flink运行参数和作业信息。Flink的yarn-per-job模式是一种将Flink应用作为独立作业（job）提交到YARN集群上的方式。

Flink运行启动脚本解析

m0_43437171的博客

02-08

1934

flink运行时包含ResourceManager、JobManager、TaskManager、Dispatcher等组件。

Flink在Yarn模式部署和命令

weixin_40659514的博客

10-25

3574

flink的yarn提交模式

flink部署模式（二）- yarn三种部署模式

weixin_38251332的博客

06-20

1629

基于flink1.15.0开启flink yarn-session集群提交任务进入客户端交互界面强制杀掉任务NOTE：启动集群只有jobmanager，提交job才去yarn申请资源启动taskmanager，任务完成自动释放taskmanager启动perjob集群查看集群上运行的job ./bin/flink list -t yarn-per-job -Dyarn.application.id=application_1652928425471_0252 取消某个job**NOTE：**在per

Flink 1.12.2 源码浅析 : yarn-per-job模式解析 [二]

张伯毅的专栏

03-17

2235

.一 .前言二 .启动解析2.1. StreamExecutionEnvironment#execute2.2. xxx2.3. xxx2.4. xxx2.5. xxx2.6. xxx三 .xxxxxx3.1. xxx3.2. xxx3.3. xxx3.4. xxx3.5. xxx3.6. xxx四 .xxxxxx4.1. xxx4.2. xxx4.3. xxx4.4. xxx4.5. xxx4.6. xxx五 .xxxxxx六 .xxxxxx七 .xxxxxx五 .YarnJobClusterEntryP

flink提交作业到yarn

chanyue123的博客

12-01

9122

讲解flink如何提交到yarn

详解Flink中yarn部署模式以及测试

08-26

5926

在Flink中一共有三种部署模式,分别为local，standalone和yarn模式，由于前两者主要是用于开发和测试，本文将不再赘述，企业中用的更多的是yarn模式，关于yarn模式下为什么比standalon模式要好主要有一下几个方面 1.资源按需使用,不会因为各自内置的调度争抢资源,在者类似于像spark，flink等框架他们的主要强大之处在于是计算，调度的话还是yarn是强项，从而可以提高集群的利用率。 2.对于yarn来说，任务有优先级，根据优先级运行作业。 3.基于Yarn调度系统可以自动化的处

flink run -t yarn-per-job -c com.sxemc.chapter2.UnBoundWordCount original-demo11-1.0-SNAPSHOT.jar