Flink源码--JobGraph的上传

本文详细描述了Flink中的JobGraph如何在客户端生成并上传至集群,包括序列化到本地文件、上传到HDFS、依赖文件处理以及提交后的清理过程。

        上节我们看到了JobGraph的生成,在集群环境中,jobGraph实在客户端生成的最终需要将生成的JobGraph和其他相关依赖一起上传到集群中,flink集群才可以才可以真正运行我们的代码

image.png

JobGraph的上传

        我们还是和以前一样从代码的源头开始看,先简单回顾一下JobGraph的生成过程

到了 这一步我们的JobGraph就正式生成了,在这个方法里出来生成jobgraph,还生成了集群的描述器,其中主要记录了集群的JobManager内存和TaskManager内存,每个taskmanger有多少slot等配置,这里还生成了一个集群客户端用于提交jobgraph,采用异步的方式提交jobgraph,并一直jobmanager保持通讯,接受jobmanager执行job的返回结果。

 这个代码主要做的:        

        1.在bin目录下创建一个名为flink-jobgraph的文件,将jobgraph持久化到磁盘上

        2.将jobgraph文件,jar包,相关依赖上传到HDFS

        3.jobgraph上传成功后,删除本地的Jobgraph文件,这样jobgraph和作业相关的资料flink集群就可以轻易的获取到了

@Override
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值