Flink源码解析：YARN-per-job模式下TaskManager启动与大数据处理

最新推荐文章于 2024-04-01 22:52:25 发布

程序才子

最新推荐文章于 2024-04-01 22:52:25 发布

阅读量236

点赞数 1

CC 4.0 BY-SA版权

文章标签： flink 大数据

本文链接：https://blog.youkuaiyun.com/TechWhiz/article/details/132328955

大数据专栏收录该内容

182 篇文章 ¥59.90 ¥99.00

订阅专栏

本文深入解析Flink在YARN-per-job模式下TaskManager的启动过程，从创建YarnApplicationMasterRunner，初始化YarnResourceManager，到启动TaskManager，并通过大数据处理示例说明。理解这一过程有助于优化大规模数据处理的效率和作业的可靠性。

Flink源码解析：YARN-per-job模式下TaskManager启动与大数据处理

一、引言

Flink是一个分布式流处理框架，能够快速高效地处理大规模的实时和批处理数据。在使用Flink进行大数据处理时，我们可以选择不同的部署方式，其中一种是YARN-per-job模式。本文将深入探讨YARN-per-job模式下的TaskManager启动过程，并结合源码分析相关实现细节。

二、YARN-per-job模式简介

YARN-per-job模式是指每个Flink作业都会在YARN上启动一个独立的应用程序，该应用程序包含一个或多个TaskManager实例。这种模式的优势在于实现了作业之间的隔离，每个作业都有独立的资源分配和管理，能够更好地保证作业的稳定性和可靠性。

三、TaskManager启动流程

创建YarnApplicationMasterRunner实例

在YARN环境中，TaskManager的启动由YarnApplicationMasterRunner类负责。首先，我们需要创建一个YarnApplicationMasterRunner实例，并通过configure方法进行必要的参数配置。

YarnApplicationMasterRunner runner = new

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

程序才子

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

订阅专栏

【flink】flink作业超额启动多个taskManager k8s

九师兄

01-02

1435

1.概述 flink作业按照配置应该启动4个taskManager，但是现在发现一个作业启动了十几个taskManager，jobManager只监控到3个taskManager，导致集群资源耗尽，启动不了新的taskManager了。还在不断尝试启动一个新的taskManager，导致作业一直在创建状态我怀疑作业运行一段时间，和某些taskManager失联了，然后疯狂启动tm，并伴随部分tm失联，失联的tm pod也没有被清理掉，直到资源被tm耗尽。 on K8s网络性能确实不太好，我们之前测试环境的

Flink作业超额启动多个TaskManager——在Kubernetes上高效处理大数据

2301_79367634的博客

08-13

540

在默认情况下，Flink作业只会使用一个TaskManager实例来执行任务。然而，当作业所需的计算资源超过单个TaskManager的能力时，我们可以通过在Kubernetes上启动多个TaskManager实例来利用集群中的更多资源，并提高作业的处理速度。由于默认的Flink镜像不支持在运行时动态添加TaskManager实例，我们需要构建一个自定义的Flink镜像。首先，创建一个名为Dockerfile然后，创建一个名为。

参与评论您还未登录，请先登录后发表或查看评论

Flink Yarn Per Job - Yarn应用

hyunbar的博客

08-01

1271

决定后面什么类型的执行器提交任务yarn-session、yarn-per-job。是否指定为per-job模式，即指定”-myarn-cluster”;是否存在flink在yarn的appID，即yarn-session模式是否启动。executor的名字为“yarn-session”或“yarn-per-job”Generic、Yarn、Default三种命令行客户端。依次是Generic、Yarn、Default。匹配一个“-”的参数或者两个“–”的参数。...

【flink】Flink 1.12.2 源码浅析 : yarn-per-job模式解析 yarn 提交过程解析

九师兄

08-06

1229

1.概述转载：Flink 1.12.2 源码浅析 : yarn-per-job模式解析 [二] 请大家看原文去。接上文Flink 1.12.2 源码分析 : yarn-per-job模式浅析 [一] . CliFrontend类最终会调用我们自己写的代码,入口类是main方法. 整体流程图细节图整体代码如下: package org.apache.flink.streaming.examples.socket; import org.apache.flink.api.common.funct.

Flink多任务多启动模式同时进行

secretWHD的博客

10-18

3315

不知你们遇到过这样得问题没： ERROR org.apache.flink.runtime.entrypoint.ClusterEntrypoint - Could not start cluster entrypoint YarnJobClusterEntrypoint. org.apache.flink.runtime.entrypoint.ClusterEntrypointException: Failed to initialize the cluster entrypoint

Flink源码浅析: Yarn-per-job模式解析TaskManager启动大数据

TechWhiz的博客

08-30

195

在TaskManagerRunner的startTaskManager()方法中，会创建一个TaskExecutor实例，并启动其执行线程。在TaskExecutor的run()方法中，会循环从JobManager获取任务，并通过TaskSlotTable将任务分配给可用的TaskSlot进行执行。在startTaskManager()方法中，TaskManagerRunner会创建并启动TaskExecutor线程，该线程负责实际执行任务。TaskManager的启动过程。

Flink源码解析：yarn-per-job模式解析、yarn提交过程解析、大数据

2301_79366435的博客

09-02

503

同时，通过对yarn提交过程的详细解析，我们能够掌握作业的提交和执行流程，从而更好地使用Flink进行大数据处理。TaskManager会从ResourceManager获取分配给它的资源，并根据Flink应用程序的配置文件初始化，然后开始执行作业的任务。在提交作业之前，需要准备作业的相关资源，其中包括作业的可执行Jar包、配置文件等。（2）ApplicationMaster：在一个容器中启动的YARN应用程序的主进程，负责与ResourceManager协调资源、处理作业的启动和监控等工作。

【flink】Flink 1.12.2 源码浅析 : yarn-per-job模式解析从脚本到主类

九师兄

08-06

1055

1.概述转载：Flink 1.12.2 源码浅析 : yarn-per-job模式解析 [一] 可以去看原文。这里是补充专栏。 2. 前言主要针对yarn-per-job模式进行代码分析. 看看都干了啥… 二 .启动程序入口 2.1. 启动数据服务端先打开数据的服务端 nc -lk 9999 2.2. 提交Flink 任务. 打开flink消费服务端9999里面的数据. 执行命令 : cd ${FLINK_HOME} flink run -t yarn-per-job -c org.apache

flink on yarn-per job源码解析、flink on k8s介绍

weixin_51981189的博客

03-28

1342

YARN per job模式下用户程序在Client端被执行，Client端即执行flink shell命令的执行节点。Client端主要工作就是将用户写的代码转换为JobGraph，向YARN提交应用以执行JobGraph。PipelineExecutor（YarnJobClusterExecutor）将StreamGraph转换为JobGraphClusterDescriptor（YarnClusterDescriptor）通过YARN部署flink集群以执行JobGraph。

flink提交作业到yarn

chanyue123的博客

12-01

9118

讲解flink如何提交到yarn

3.Flink-On-Yarn开发使用\原理\Session会话模式\Per-Job模式

涂作权的博客

07-06

2212

本文来自：Flink1.12-2021黑马程序员贺岁视频3.Flink-On-Yarn开发使用 3.1.原理 3.2.两种模式 3.2.1.Session会话模式 3.2.2.Per-Job模式 3.3.操作 3.4.测试 3.4.1.Session会话模式 3.4.2.PerJob模式为什么使用flink on yarn ? 在实际开发中，使用Flink时，更多的使用方式是Flink On Yarn模式，原因如下：具体步骤：准备Flink程序jar和配置 0：提交 1：上传任务/依赖jar,配置到hdf

Flink的四大组件、yarn per-job模式提交流程、Slot、并行度

jason_bone_的博客

02-18

4649

1.Flink四大组件 1.1 JobManager 作业管理器控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的JobManager 所控制执行。 JobManager 会先接收到要执行的应用程序，这个应用程序会包括：作业图（JobGraph）、逻辑数据流图（logical dataflow graph）和打包了所有的类、库和其它资源的JAR包。 JobManager 会把JobGraph转换成一个物理层面的数据流图，这个图被叫做“执行图”（ExecutionGraph），包含了所有

flink源码分析1-1--yarnPerJob任务提交流程--启动命令解析&读配置&封装

luyunlong_it的博客

06-07

789

flink源码分析--yarnPerJob任务提交流程--启动命令解析&读取配置文件&封装

Flink ON Yarn 模式 --- per job mode 与application mode的区别

加油

11-05

1196

这两种模式中最重要的区别就是main函数启动的位置不同，Flink任务调度的过程是将本地的代码构建成DataFlow图，然后提交到JobManager上面，对于per job mode来说是在本地创建DataFlow，然而对于application mode是在JobManager上创建DataFlow，这就是二者最主要的区别。2、此时ResourceManager接受到客户端的请求，就会分配一个nodemanager去启动ApplicationMaster，就是Flink中的JobManager。

Flink源码解析：Yarn-per-Job模式下的JobMaster启动分析

JieLun_C的博客

08-17

240

本文对Flink源码中Yarn-per-Job模式下的JobMaster启动流程进行了简要分析。通过查看源代码，我们了解到YarnJobClusterEntrypoint作为JobMaster的启动入口，在创建JobMaster实例之后，通过调用start方法启动作业的执行。在Flink中，Yarn-per-Job模式是一种常用的运行模式，它能够将每个Flink作业分配到独立的YARN容器中运行。本文将深入解析Yarn-per-Job模式下的JobMaster启动过程，并通过源代码进行详细分析。

关于flink on yarn只能提交一个job的问题

ilyomind的博客

09-29

1443

问题：第一个任务正常，随后的任务提交一直显示container分配成功后，没有启动task。仔细对比发现，两个任务的taskmanager的rpc端口一样。解决方法：官网解释如下：在使用cluster模式时，如果使用per job模式，不能手动设置cluster.id，每次提交任务时，会自动生成。检查配置参数，不要配置cluster.id就会解决 ...

flink per-job模式启动命令参数详解

m0_58820420的博客

04-19

3921

注意如果进行了换行 \ 符号要带上

19.flink task数量，slot数量和taskManage数量

笔生花的博客

08-12

3902

读者必须明白flink 任务的划分是怎么来的，如果不明白建议去查看相关资料，否则这篇文章对你而言没有任何意义。

Flink集群从节点TaskManager启动分析(standalone)

weixin_44852067的博客

04-01

1790

TaskManager 是 Flink 集群的工作进程，执行数据流的具体计算，称之为"Worker"。Flink集群必须至少有一个TaskManager；每一个TaskManager都包含了一定数量的任务槽(task slots)。Slot是资源调度的最小单位，slot的数量限制了TaskManager能够并行处理的任务数量。启动之后，TaskManager会向资源管理器注册它的slots；

flink run -t yarn-per-job -c com.sxemc.chapter2.UnBoundWordCount original-demo11-1.0-SNAPSHOT.jar