上节我们看到了JobGraph的生成,在集群环境中,jobGraph实在客户端生成的最终需要将生成的JobGraph和其他相关依赖一起上传到集群中,flink集群才可以才可以真正运行我们的代码

JobGraph的上传
我们还是和以前一样从代码的源头开始看,先简单回顾一下JobGraph的生成过程




到了 这一步我们的JobGraph就正式生成了,在这个方法里出来生成jobgraph,还生成了集群的描述器,其中主要记录了集群的JobManager内存和TaskManager内存,每个taskmanger有多少slot等配置,这里还生成了一个集群客户端用于提交jobgraph,采用异步的方式提交jobgraph,并一直jobmanager保持通讯,接受jobmanager执行job的返回结果。

这个代码主要做的:
1.在bin目录下创建一个名为flink-jobgraph的文件,将jobgraph持久化到磁盘上
2.将jobgraph文件,jar包,相关依赖上传到HDFS
3.jobgraph上传成功后,删除本地的Jobgraph文件,这样jobgraph和作业相关的资料flink集群就可以轻易的获取到了
@Override

本文详细描述了Flink中的JobGraph如何在客户端生成并上传至集群,包括序列化到本地文件、上传到HDFS、依赖文件处理以及提交后的清理过程。
最低0.47元/天 解锁文章
1万+

被折叠的 条评论
为什么被折叠?



