flink源码解析系列之JobGraph的生成

Flink源码：JobGraph生成解析
最新推荐文章于 2025-07-09 19:30:00 发布
原创 最新推荐文章于 2025-07-09 19:30:00 发布 · 397 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #源码 #解析 #JobGraph #生成

该博客属于flink源码解析系列，主要聚焦于JobGraph的生成。在信息技术领域，Flink是大数据开发的重要工具，了解其源码中JobGraph的生成机制，对掌握Flink的工作原理有重要意义。

flink源码解析系列之JobGraph的生成

Flink源码解读(二)：JobGraph源码解读
Stray_Lambs的博客
10-07 1218
目录 JobGraph源码解读 JobGraph生成过程 入口函数 createJobGraph函数 参考 JobGraph源码解读 上回说到，StreamGraph的源码其中是在客户端生成，并且是生成Node节点和Edge，主要是通过StreamAPI生成，表示拓扑结构，这次给大家讲讲JobGraph的生成(以Yarn集群模式)。 首先，JobGraph是基于StreamGraph进行优化(包括设置Checkpoint、slot分组策略，内存占比等)，最主要是将多个符合条件的StreamN
Flink源码剖析之JobGraph的生成
darkness0604的博客
03-23 2073
背景 其实，以前编写flink代码的时候，模式比较固定，不管你中间过程如何花里胡哨，开头总要有一个获取上下文环境，最后总要有一个：env.execute()，之前只是知道这个方法，会在job提交的时候，用于获取job的计算流程图，但是我一直很好奇，到底是什么时机生成的呢？ 源码剖析 创建JobGraph 我们知道，提交任务的时候，是要有一步获取Job的JobGraph的： /** * Creates a {@link JobGraph} with a specified {@link Job
十四、Flink源码阅读--JobGraph生成过程
大数据之路
05-31 1118
上篇分析了client整个提交任务过程，最终提交的是一个JobGraph对象，那么是如何从jar或sql 任务转为JobGraph的呢，这篇我们仔细研究一下, 版本为1.6.3 源码分析 上篇我们介绍client端提交任务最终会到到 ClusterClient.run()方法，就在这个方法中封装了JobGraph的步骤。 public JobSubmissionResult run(Flink...
flink streamGraph生成jobGraph
不说话装高手
02-08 1600
当需要通过streamGraph生成jobGraph的时候，通过StreamingJobGraphGenerator的createJobGraph()方法来生成。 public static JobGraph createJobGraph(StreamGraph streamGraph, @Nullable JobID jobID) { return new StreamingJobGr...
Flink运行时之流处理程序生成流图
VinoYang的专栏
02-05 9346
DataStream API所编写的流处理应用程序在生成作业图（JobGraph）并提交给JobManager之前，会预先生成流图（StreamGraph）。
flink的JobGraph生成源码分析
qq_18218071的博客
12-28 656
flink的JobGraph生成源码分析 一、JobGraph简介 JobGraph是基于StreamGraph生成的，主要的工作就是将多个符合条件的StreamNode链接chain在一起作为一个节点，这样可以减少数据在节点之间流动所需要的序列化/反序列化/传输消耗。 那么本节的主要问题是： 怎么判断节点是否可以连接在一起，即1和2怎么连接 多个StreamNode怎么构建JobGraph的节点，即source和filter怎么构建新节点 怎么构建JobGraph的边，即4和5怎么找到和生成的 二、生
Flink-1.19.0源码详解6-JobGraph生成-后篇
最新发布
li72767的博客
07-09 1260
本文从Flink执行StreamExecutionEnvironmentd.execute()方法开始，解析Flink JobGraph生成的源码，解析Flink遍历StreamGraph每个StreamNode节点，逐步生成JobVertex节点、JobEdge边和IntermediateDataSet数据，逐步构建并序列化JobGraph图的完整源码。
Flink 源码解析2--JobGraph的生成
METON的博客
09-27 495
上一节介绍了StreamGraph的生成，这个实际上只对应 Flink 作业在逻辑上的执行计划图。Flink 会进一步对 StreamGraph 进行转换，得到另一个执行计划图，即JobGraph。然后将JobGraph发送到server端进行ExecutionGraph的解析。 主要的JobGraph的源码对象如下(其最主要的是Map<JobVertexID, JobVertex> taskVertices任务对象)： public class JobGraph impl...
Flink源码解析之：如何根据StreamGraph生成JobGraph
大数据开发、JAVA开发、人工智能AI
12-29 1283
Flink源码解析之：如何根据StreamGraph生成JobGraph
Flink源码解析之：如何根据算法生成StreamGraph过程
大数据开发、JAVA开发、人工智能AI
12-29 1132
Flink源码解析之：如何根据算法生成StreamGraph过程
Flink 原理与实现：如何生成 JobGraph
lx1309244704的博客
12-10 2204
转载来源：http://wuchong.me/blog/2016/05/10/flink-internals-how-to-build-jobgraph/ 继前文Flink 原理与实现：架构和拓扑概览中介绍了Flink的四层执行图模型，本文将主要介绍 Flink 是如何将 StreamGraph 转换成 JobGraph 的。根据用户用Stream API编写的程序，构造出一个代表拓扑结构的St...
leetcode 685：去除有向图的冗余连接
Einskai216的博客
09-17 628
题意 现在有一个N个点，N条边的有向图，每个节点至少与一条边相连，现在要求删掉一条边，使得有向图成为一棵树，从而可以从一个根节点遍历到其他节点（可能出现多个符合条件的答案，要求去除最后一次出现的边） 题解 大方向：并查集 冗余会出现于什么情况？ 情况1：一个节点有两个父亲，比如输入边集：[[1,2], [1,3], [2 3]] 情况2：一条边的加入导致循环，比如输入边集：[[1,2], [2,3], [3,4], [4,1], [1,5]] 如何根据冗余情况找到冗余边？
一文搞懂 Flink JobGraph 的创建过程源码
mn_kw的博客
09-18 888
在StreamGraph构建完毕之后会开始构建JobGraph，然后再提交JobGraph。
Flink源码系列——获取JobGraph的过程
混混的博客
03-10 3377
接《Flink源码系列——获取StreamGraph的过程》获取到StreamGraph后，继续分析，如果通过获取到的StreamGraph来转化为JobGraph。转化逻辑在StreamingJobGraphGenerator这个类中，入口是createJobGraph(StreamGraph)方法。先是初始化了一个StreamingJobGraphGenerator的实例，StreamingJ...
2、Flink作业转换-JobGraph
江7城子的专栏
07-23 638
Flink客户端在构建出StreamGrap后，会通过优化得到另一个执行计划图 - JobGraph，并将JobGraph提交至JobManager。JobManager根据任务所需资源将其转化成具有并行性质的ExecutionGraph，根据ExecutionGraph进行任务调度。
Flink-JobGraph基本概念
jacky_wang_123的专栏
10-20 1521
JobGraph也是在client端生成的，我们看一下StreamGraph->JobGraph的变化： 主要的变化有： StreamNode变成了JobVertex StreamEdge变成了JobEdge 增加了IntermediateDataSet Forward相连的StreamNode合并成一个JobVertex JobGraph的生成 同样，我们进入debug模式，从execute()方法一路点点点，到了StreamingJobGraphGenerator.createJ.
二十、Flink源码阅读--JobManager对提交过来的JobGraph处理过程
大数据之路
06-05 1358
在client提交任务的源码分析那篇中我们知道了客户端提交给JobManager的是一个JobGraph对象，那么当JobManager的Dispatcher组件接收到JobGraph后做了哪些处理呢，这篇我们从源码分析一些这个处理过程。 源码分析 NettyRPC 接收到请求调用的是channelRead0方法，所以在JM端程序的入口： RedirectHandler.channelRead...
[flink-011]DataSet源码以及各算子
大数据和机器学习研究
08-25 832
DataSet<String> text = env.fromElements(new String[] {"To be, or not to be,--that is the question:--", "Whether 'tis nobler in the mind to suffer"}); DataSet<Tuple2<String, Integer>&g...
flink中级篇-DAG图的剖析
kangzai
07-22 7995
一.DAG图的总体架构：   Flink框架引擎把执行计划抽象为四层数据结构，分别是API层、静态topology、JobGraph、ExecutionGraph等。 具体的结构入下图： 二. DAG各层级的详情分析 API层 用户通过StreamApI或是BatchAPI描述Job的逻辑,并通过调用链把作业逻辑操作串联起来，对于用户而言，业务抽象的是一个一个的有特定功能的...
Flink源码深度解析：从编译到核心组件与机制
本压缩包“Flink源码解析.zip”包含了一份详尽的 Flink 源码分析文档（Flink源码解析.md），涵盖了从源码编译、项目结构、集群启动流程到核心执行机制等多个关键知识点，全面深入地揭示了 Apache Flink 内部的工作...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值