flink源码阅读---yarn启动流程

最新推荐文章于 2024-03-28 10:57:21 发布
原创 最新推荐文章于 2024-03-28 10:57:21 发布 · 312 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了Flink on YARN的两种运行模式：yarn-session和yarn-job。yarn-session模式下，Flink集群常驻YARN中，任务提交至该集群；yarn-job模式下，每个任务启动独立的Flink集群，任务完成后集群消失。文章还提供了创建和使用yarn-session的具体命令。

flink on yarn有两种模式：yarn-seeion  和yarn-job：

yarn-seeion：在yarn中初始化一个flink集群，任务都提交到flink集群，flink集群会常驻yarn中，除非手动停止。

yarn-job：每次提交的任务都会创建一个新的flink集群，任务间相互独立，任务执行完之后flink集群消失。

yarn-session

     在yarn中初始化一个flink集群，任务都提交到flink集群，flink集群会常驻yarn中，除非手动停止。

创建集群：

   创建命令

yarn-session.sh -n 2 -jm 1024 -tm 1024 -d

  命令脚本

  

绑定集群：

yarn-session.sh -id applicationId

执行flink任务：

yarn-session.sh -id ./examples/wordcount.jar

 

wandy0211
关注
Flink中三种模式：YARN Session 模式、YARN Per-Job 模式和 YARN Application 模式提交任务命令
JustinMars的博客
07-30 1103
在 Apache Flink 中，YARN 提供了多种模式来提交和管理作业，每种模式都有其独特的特点和适用场景。主要有以下三种模式：YARN Session 模式、YARN Per-Job 模式和 YARN Application 模式。
flink on yarn
zhangkai0575的博客
12-19 721
在flink on yarn模式中 flink yarn-session的两种提交方式 1.公用一个yarn-session 在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中，除非手工停止。 2.每个job提供一个yarn-session 每次提交都会创建一个新的flink集群，任务之间互相独立，互不影响，方...
Flink on Yarn模式启动流程源代码分析
weixin_34357887的博客
10-31 575
此文已由作者岳猛授权网易云社区发布。欢迎访问网易云社区，了解更多网易技术产品运营经验。Flink on yarn的启动流程可以参见前面的文章 Flink on Yarn启动流程,下面主要是从源码角度看下这个实现，可能有的地方理解有误，请给予指正，多谢。--> 1.命令行启动yarn sessionbin/yarn-session.sh -n 3 -jm 1024 -nm 1024 -st我们...
FlinkOnYarn源码分析
jhkkhtd的专栏
06-18 487
原创马申跃架构与英文 收录于话题 #大数据17 #Flink2 Flink可以对接第三方资源进行弹性伸缩，常见的有Yarn、K8S。Flink对接Yarn有两种模式，分别是session模式和per-job模式。由于生产环境多用per-job模式，因此本文主要分析对接Yarn时per-Job模式的提交过程。 Flink提交application语句：./flink run -m yarn-cluster ./flinkApp.jar 客户端提交命令过程分析 该语句最终有入口类org.ap...
Flink1.18.0集成Yarn-session模式部署
weixin_43655425的博客
01-19 1644
YARN上部署的过程是：客户端把Flink应用提交给Yarn的ResourceManager, Yarn的ResourceManager会向Yarn的NodeManager申请容器。在这些容器上，Flink会部署JobManager和TaskManager的实例，从而启动集群。Flink会根据运行在JobManger上的作业所需要的Slot数量动态分配TaskManager资源。分发flink安装目录到2、3、4节点。flink版本：1.18.0。浏览器打开flink-ui地址。这次集成下flink。
Flink系列-1-Flink在yarn上启动源码分析
csdn问鼎
05-05 687
源码准备 git clone https://github.com/apache/flink.git 部署Flink在yarn 可参考 https://blog.youkuaiyun.com/qq_22222499/article/details/95519743 流程图分析 入口类 org.apache.flink.yarn.cli.FlinkYarnSessionCli 开启部署 clusterClie...
flink on yarn部分源码解析 (FLIP-6 new mode)
weixin_30483697的博客
11-02 332
我们在https://www.cnblogs.com/dongxiao-yang/p/9403427.html文章里分析了flink提交single job到yarn集群上的代码，flink在1.5版本后对整个框架的deploy方式重构了全新的流程（参考https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=651...
flink-1.19.0-bin-scala-2.12.tgz flink-1.16.3-bin-scala-2.12.tgz
最新发布
05-21
从"flink1.19&1.16"这个压缩包子文件的文件名称列表来看，里面很可能包含了这两个版本的解压后的文件结构，可能包括了启动脚本、配置文件、JAR包、文档、示例程序等。用户可以通过解压这些文件来搭建Flink集群，或者...
flink-1.13.6-bin-scala_2.12.tgz资源下载
05-30
8. **YARN 和 Kubernetes 集成**：Flink 可以运行在 YARN 或 Kubernetes 上，方便资源管理和调度。 9. **优化和性能**：Flink 1.13.6 版本可能包含了一些性能优化，如更高效的 shuffle 机制、更快的序列化和反序列...
flink on yarn-per job源码解析、flink on k8s介绍
weixin_51981189的博客
03-28 1363
YARN per job模式下用户程序在Client端被执行，Client端即执行flink shell命令的执行节点。Client端主要工作就是将用户写的代码转换为JobGraph，向YARN提交应用以执行JobGraph。PipelineExecutor（YarnJobClusterExecutor）将StreamGraph转换为JobGraphClusterDescriptor（YarnClusterDescriptor）通过YARN部署flink集群以执行JobGraph。
flink-shaded-hadoop-2-uber-2.6.5-10.0.zip
08-21
通过Hadoop的YARN客户端，Flink作业可以被提交到YARN集群，获取计算资源并执行任务。这样，Flink可以充分利用Hadoop的资源调度和管理能力，实现更高效的集群利用。 3. **Hadoop配置**：通过使用此连接器，Flink可以...
flink源码分析-flink-yarn-session job独立部署模式的任务提交流程
Share With You
05-03 2125
flink（版本1.9.0）源码分析，从源码的角度来分析flink per job on yarn的job提交流程，品读源码的原滋原味
第 6 节　Flink on yarn内部实现
weixin_39868387的博客
03-06 233
上篇：第 5 节 Flink on yarn的两种方式 1、Flink 在yarn上的分布 Flink on Yarn ResourceManager NodeManager AppMater(jobmanager和它运行在一个Container中) Container(taskmanager运行在上面) 使用on-yarn的好处 提高集群机器的利用率 一套集群，可以执行MR任务，spar...
Flink:Yarn-Session 启动
u012566690的专栏
08-29 3071
背景： 自己搭建了flink 单机版本时，到 flink on yarn 这一步卡住了，不能正常运行执行./bin/yarn-session.sh -n 4 -jm 1024m -tm 4096m 包括 GetClusterMetricsRequestProto cannot be cast to com.google.protobuf.Message 主要原因是未指定HADOOP_CONF_DIR环境变量，下面给出整个过程 ##1. 参照文档，下载&&编译flink 源码,这个时候，s
通过Flink YARN Session来运行任务
zg_hover的专栏
10-11 5142
通过Flink YARN Session来运行任务 本文先介绍Flink YARN Session的基本概念，并介绍如何启动Flink Session，并通过它来运行任务。 简介 Apache Hadoop YARN是一个集群资源管理框架。可以在它之上运行各种分布式应用。在其他应用运行时，Flink也可以运行在其上。 在Flink YARN Session启动时会按配置或参数来申请资源，并会启动Flink的基础服务：JobManager和TaskManagers。这样，就可以向它提交Flink应用了；每个s
flink1.10三节点集群之yarn-session模式
热门推荐
ASN_forever的博客
05-19 1万+
提前搭建Hadoop集群环境，可以参考这篇文章。 本文章的集群环境： 机器 ip 服务 flink1 172.21.89.128 flink2 172.21.89.129 flink3 172.21.89.130 安装配置flink 安装参考这篇文章 启动一个yarn session（分配1g的jobmanager和4g的taskmanager） [root@flink1 flink-1.10.0]# ./bin/yar...
1.flink的yarn-session环境
流月up的博客
10-18 719
在hadoop环境安装好之后,需要一个yarn-session环境来跑flink任务,此篇任务是在hadoop yarn环境上部署一个flink yarn-session环境,flink 1.17.1版本相关文章聚合链接。
flink on yarn模式
fct2001140269的博客
12-29 767
在flink on yarn模式中，flink yarn-session的两种提交方式 两种提交方式 1.yarn-session为flink app开辟公用资源 在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中，除非手工停止。 2.每个job提供一个yarn-session 每次提交都会创建一个新的flink集群，任务之间互...
Flink 1.6.0 源码结构与核心模块解析
该版本发布于2018年，属于Flink发展过程中的一个重要里程碑，引入了多项关键功能优化与架构改进，特别是在运行时调度、状态管理、连接器生态以及对大规模集群部署的支持方面表现突出。从所提供的模块结构来看，flink...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值