flink on yarn工作提交流程及三层图概述

最新推荐文章于 2024-04-23 22:39:40 发布
最新推荐文章于 2024-04-23 22:39:40 发布
阅读量955 收藏 1
点赞数
分类专栏： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/a3125504x/article/details/109608952
版权
本文详细介绍了Flink在YARN上的工作提交流程，包括客户端请求、YARN创建容器启动Application Master，以及AM如何启动Job Manager。同时，文章探讨了Flink的三层图结构——StreamGraph、JobGraph和ExecutionGraph，阐述了它们在计算图生成过程中的作用，强调了资源管理和任务分配的关键角色。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

flink on yarn工作提交流程

示意图

在这里插入图片描述
流程如下：

  • Client向Dispatch而发起请求，Dispatch而向yarn提交job
  • Yarn的NN创建一个container，启动Application Master（AM）
    • ApplicationMaster在本地启动一个Resource Manager和Job Manager
  • Job manager根据StreamGraph生成的ExecutionGraphy以及物理执行计划向Flink Resource Manager申请slot
  • 如果没有足够的slot，那么Flink Resources Manager向Yarn Resource Manager申请Container
  • 创建Container之后，Container向Flink Resource Manager和JobManager注册
  • 注册之后Flink Resource manager分配slot，JobManager分配Task

几点分工注意：

  1. 集群资源掌控在yarn的老大NN中，但是flink的client不直接和yarn的NN打交道，而是通过Application Master（AM）中的Resources Manager获取资源
  2. AM中的Resource Manager（RM）负责向yarn申请资源（Container)，分配slot
  3. Job Manager向RM申请资源
最低0.47元/天 解锁文章
【Flink】Flink on YARN（上）：一张图轻松掌握基础架构与启动流程
九师兄
07-21 371
作者：杨弢（搏远）Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式，其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章，分为上、下两篇。本文基于 FLIP-6 重构后的资源调度模型将介绍 Flink on YARN 应用启动全流程，并进行详细步骤解析。下篇将根据社区大群反馈，解答客户端和Flink Cluster的常见问题，分享相关问题的排查思路。
【Flink】Flink on YARN 流程之Flink Cluster 启动流程是什么
九师兄
07-30 232
应用状态存储完成后，应用状态变为 SUBMITTED；如果提交成功，应用状态变为 ACCEPTED；ResourceScheduler 会根据优先级（队列 / 应用 / 请求每个维度都有优 先级配置）从根队列开始层层递进，先后选择当前优先级最高的子队列、应 用直至具体某个请求，然后结合集群资源分布等情况作出分配决策，AM Container 分配成功后，应用实例状态变为 ALLOCATED_SAVING，并触 发应用实例状态存储流程，存储成功后应用实例状态变为 ALLOCATED；
Flink学习 - 6. Flink on yarn 提交流程 及 资源管理
jerome520zl的博客
01-06 1693
Flink学习 - 6. Flink on Yarn 提交任务流程Flink On Yarn Flink On Yarn 流程图大致如下： flink-client将任务提交到yarn，会将所有依赖的jar和config等温江上传到hdfs中 向resourceManager申请资源，Resourcemanager中主要包含两部分：applicationManager和resourceSche...
Flink on Yarn模式启动流程源代码分析
weixin_34357887的博客
10-31 547
此文已由作者岳猛授权网易云社区发布。欢迎访问网易云社区，了解更多网易技术产品运营经验。Flink on yarn的启动流程可以参见前面的文章 Flink on Yarn启动流程,下面主要是从源码角度看下这个实现，可能有的地方理解有误，请给予指正，多谢。--> 1.命令行启动yarn sessionbin/yarn-session.sh -n 3 -jm 1024 -nm 1024 -st我们...
FlinkOnYarn的执行流程
qq_36382679的博客
09-27 649
1 Flink任务提交后，Client向HDFS上传Flink的Jar包和配置 2 向Yarn ResourceManager提交任务 3 ResourceManager分配Container资源并通知对应的NodeManager启动ApplicationMaster 4 ApplicationMaster启动后加载Flink的Jar包和配置构建环境 5 启动JobManager之后ApplicationMaster向ResourceManager申请资源启动TaskManager 6 ResourceMa
一张图轻松掌握 Flink on YARN 应用启动全流程（上）
weixin_30794491的博客
09-25 296
Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式，其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章，分为上、下两篇。本文基于 FLIP-6 重构后的资源调度模型将介绍 Flink on YARN 应用启动全流程，并进行详细步骤解析。下篇将根据社区大群反馈，...
Flink on YARN（上）：一张图轻松掌握基础架构与启动流程
Ververica的博客
09-25 427
杨弢（搏远），阿里巴巴计算平台事业部技术专家，Apache Hadoop Committer，目前专注于 YARN、Flink、YuniKorn 等开源项目的资源调度方向...
Flink的学习之路（一）—— Flink的简介
weixin_45417821的博客
12-24 246
文章目录介绍概述特性API支持Libs支持整体组件栈编程模型抽象的层级程序和数据流窗口（Windows）有状态的数据操作（Stateful Operations）容错的Checkpoint流上的批处理分布式执行环境Job Managers，Task Managers，ClientsTask Slots 和资源状态后端保存点（Savepoints） 介绍 概述 Apache Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架，它基于同一个Flink流式执行模型（streaming execu
flink实战--flink原理解析
热门推荐
阿华田的博客
09-30 2万+
Flink出现的背景 我们知道目前流处理的主要流行的计算引擎有，Storm，SparkStreaming。但是这个两个计算引擎都有自己的局限性。Storm实现了低延迟，但是目前还没有实现高吞吐，也不能在故障发生的时候准确的处理计算状态（将数据从一个事件保存到另一个事件的，这些保留下来的是数据较计算状态），同时也不能实现exactly-once。SparkStreaming通过微批处理方法............
flink on Yarn的任务提交流程
大数据技术分享中心
10-29 954
flink on Yarn提交流程 1.客户端向Dispatcher发起请求 2.Dispatcher向yarn提交job 3.Yarn创建一个Container,启动Application Master 4,Application Master启动一个Flink Resource Manager 和 Job Manager 5.Job Manager根据JobGrap生成的ExecutionGraph以及物理执行计划向flink Resource Manager申请slot 6,如果没用足够的slot,
Flink on Yarn启动简要流程
summerlia的博客
05-12 438
Flink on Yarn启动简要流程 on yarn模式下，flink集群依赖和配置会上传到HDFS，JM和TM启动时皆需要下载这些依赖； 构造AM时是通过设置env和cmd设置对应的执行方法和环境变量； yarn-session.sh下构造AM为YarnSessionClusterEntryEndpoint，构造常驻集群； run -m yarn-cluster下构造AM为YarnSessionClusterEntryEndpoint，构造常驻集群； run -m yarn-cluster -d下
Yarn部署模式下Flink单作业提交流程详解！！
gene20200509的博客
09-22 1243
大数据技术之flink yarn部署模式下单作业提交流程
Flink ON YARN
libaowenBlog的博客
08-20 4209
Flink ON YARN 模式就是使用客户端的方式，直接向Hadoop集群提交任务即可，不需要单独启动Flink进程。
Flink on yarn部署及任务提交
qq_24095055的博客
08-04 2892
文章目录1. 完成hadoop本地配置后启动2. flink提交作业到yarn的两种方式2.1 Flink ON Yarn启动流程2.2 Flink YARN Session2.2 Run a single Flink job on YARN Hadoop单机yarn配置可参考博客，除了里面提到的./start-yarn.sh外，也可以使用./start-all.sh。 1. 完成hadoop本地配置后启动 # yarn方式启动，也可以使用 ./start-yarn.sh ~/software/hadoop
大数据之Flink工作流程
代妈炼金术师
01-05 526
总之，Flink 的工作流程涵盖了从作业提交、资源分配、任务执行到数据处理、结果输出以及容错恢复的全过程，保证了大规模分布式环境下数据处理的高效稳定运行。
Flink 架构：三层架构体系、运行时组件
凌桓丶的博客
02-09 4899
Flink 架构：三层架构体系、运行时组件
flink任务提交的流程
sghuu的博客
12-16 908
** flink任务提交的流程 ** flink提交任务后，Client向HDFS上传Flink的jar包和配置，之后向Yarn ResourceManager提交任务，ResourceManager分配Container资源并通知对应的NodeManager启动相应的ApplicationMaster，ApplicationMaster启动后加载Flink的Jar包和配置构建环境，然后启动Jo...
Flink（五十一）—— 一张图轻松掌握 Flink on YARN 基础架构与启动流程
weixin_42073629的博客
10-22 516
Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式，其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章，分为上、下两篇。本文基于 FLIP-6 重构后的资源调度模型将介绍 Flink on YARN 应用启动全流程，并进行详细步骤解析。 Flink on YARN 应用启动流程图 Flink on YARN 集群部署模式涉及 YARN 和 Flink 两大开源框架，应用启动流
三分钟快速理解Flink 作业提交流程(包工头的工程之路)
jx的博客
04-23 902
JobMaster 向 ResourceManager 申请运行 flink 作业所需要的 TaskManager，ResourceManaager 向资源管理系统(比如 Yarn)申请对应的资源；部署阶段，向ResourceManager 请求执行 flink 作业执行所需要的资源，将任务分发到不同的节点上去运行。主要用来接收 client 提交的 flink 作业，为 flink 作业启动一个 JobMaster。本文介绍了 flink 作业的提交流程，希望可以帮助到你。负责一个 flink 作业。
大数据平台技术架构图
最新发布
01-01
### 大数据平台技术架构图概述 大数据平台的技术架构通常由多个层次组成，这些层次共同协作来实现高效的数据处理和分析功能。下面是一个典型的大数据平台技术架构图示例： #### 数据接入层 该层主要负责原始数据的收集与初步清洗工作。常见的工具和技术包括Apache Flume用于日志采集[^3]，以及Kafka作为消息中间件用来缓冲来自不同源头的数据流。 ```mermaid graph LR; A[外部数据源] --> B(Kafka); C(Flume) --> D(其他数据输入方式); E[HDFS] <--|存储到分布式文件系统| F(MapReduce/Hive/Spark等批处理引擎); ``` #### 实时计算层 对于需要即时响应的应用场景，在此阶段会采用诸如Flink或Storm这样的流式处理框架来进行低延迟的数据转换与聚合操作。为了防止因处理能力不足而导致的数据积压问题，往往会在Flume之后加入像Kafka这样具备良好扩展性的消息队列服务。 #### 批量处理层 针对大规模历史数据集，则更多依赖于基于Hadoop生态系统的组件完成复杂查询任务。例如通过YARN资源管理器协调集群内节点执行MapReduce作业，或是利用更高效的SQL-on-Hadoop解决方案如Presto、Impala等进行交互式探索性分析[^5]。 #### 调度监控层 整个体系的有效运作离不开一套健全的任务编排机制——即能够动态调整优先级并跟踪进度的状态管理系统。此类设施不仅有助于提高吞吐率和服务质量(SLA)，还能及时发现潜在瓶颈以便采取预防措施加以优化改进[^4]。 #### 应用展示层 最后，经过多轮加工提炼后的有价值信息会被传递给前端可视化界面供决策者参考使用；同时支持API接口调用满足第三方集成需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值