flink源码解析系列之StreamGraph的生成

最新推荐文章于 2025-06-24 19:27:43 发布
原创 最新推荐文章于 2025-06-24 19:27:43 发布 · 290 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #源码 #StreamGraph #解析

本文基于Apache Flink 1.7.2版本，简要介绍了其执行流程，并详细阐述了StreamGraph、StreamEdge、StreamNode及StreamOperator等核心概念。
Flink源码解读(一)：StreamGraph源码解读
Stray_Lambs的博客
09-30 1274
目录 Flink流图基本概念 StreamGraph源码 StreamGraph的核心对象 StreamNode StreamEdge StreamNode和StreamEdge之间的关系 上传jar包 生成StreamGraph 生成StreamNode 生成Edge 核心方法 参考 Flink流图基本概念 这里简单介绍一下Flink流图的一些基本概念和过程，详情可以看Flink基础概念。根据不同图的生成顺序，主要是分为4层：StreamGraph-->JobGrap
flink源码分析-StreamGraph的生成
weixin_41197407的博客
12-28 1609
前提之一：DAG 理解StreamGraph的前提之一就是要对DAG有向无环图有所了解。需要知道什么是DAG的顶点和边，以及怎么通过顶点和边构建DAG。 前提之二：Transformation Flink流处理中的各个算子操作会转化成一系列的Transformation对象进行存储，StreamGraph就是通过一系列的Transformation对象进行构建。 Transformation类型 OneInputTransformation 只有一个输入的一类转化操作，如map、filter、proces
Flink之StreamGraph生成源码分析
qq_18218071的博客
12-20 493
Flink之StreamGraph生成源码分析 一、StreamGraph是什么？ 是用户提交的代码，直接生产的数据流图 二、生成StreamGraph的过程 2.1 触发执行生成StreamGraph 程序执行即env.execute("Java WordCount")这行代码，这里以RemoteStreamEnvironment环境为例 @Override public JobExecutionResult execute(String jobName) throws ProgramInvocation
Flink源码分析-JobDispatcher
边逛边看边学习
03-30 487
（本文作者 擎创科技研发总监 a coder） 背景介绍 最近一直在阅读Flink基于Yarn的资源管理相关的代码，牵扯的流程比较长，主要包含以下几个环节: 客户端环节：命令参数解析，定位到作业入口，生成JobGraph，翻译成启动对应的Yarn集群描述符，开始提交到Yarn。 AppMaster环节：根据不同的作业模式(Session/Job)，选择不同的启动入口，开始启动集群，这个阶段需要构造的重要组件包含：Dispatcher，Resource Manager，Job Master。具体每个组
Flink技术源码解析（一）：Flink概述与源码研读准备
weixin_33828101的博客
06-06 1917
一、前言 Apache Flink作为一款高吞吐量、低延迟的针对流数据和批数据的分布式实时处理引擎，是当前实时处理领域的一颗炙手可热的新星。关于Flink与其它主流实时大数据处理引擎Storm、Spark Streaming的不同与优势，可参考https://blog.youkuaiyun.com/cm_chenmin/article/details/5307249...
Flink 源码解析
http://www.54tianzhisheng.cn/
06-08 1379
1、Flink 源码解析 —— 源码编译运行 2、Flink 源码解析 —— 项目结构一览 3、Flink 源码解析—— local 模式启动流程 4、Flink 源码解析 —— standalone session 模式启动流程 5、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Job Manager 启动 6、Flink 源码解析 —— ...
Flink源码解析之：如何根据算法生成StreamGraph过程
大数据开发、JAVA开发、人工智能AI
12-29 1131
Flink源码解析之：如何根据算法生成StreamGraph过程
Flink源码解析之：如何根据StreamGraph生成JobGraph
大数据开发、JAVA开发、人工智能AI
12-29 1282
Flink源码解析之：如何根据StreamGraph生成JobGraph
Flink源码（一）：StreamGraph
Dengdz
07-23 1730
前提：由于最近需要在原有Flink CEP的基础上，实现动态加载CEP规则的需求，因此想到了通过自定义动态CEP算子以及自定义动态pattern加载的算子协调器实现规则的更新。因此在开发同时记录一下Flink数据处理的过程。
Flink-1.19.0源码详解4-StreamGraph生成
最新发布
li72767的博客
06-24 1078
本文从Flink执行StreamExecutionEnvironment.execute()方法进入任务调度开始，解析Flink StreamGraph生成的源码（内容为下流程图的红色部分），解析Flink遍历Transformation集合，逐步生成StreamNode与StreamEdge，构建StreamGraph图的完整源码。
flink源码分析
09-18
flink源码分析
Flink源码解析.zip
06-04
1、Flink 源码解析 —— 源码编译运行 2、Flink 源码解析 —— 项目结构一览 3、Flink 源码解析—— local 模式启动流程 4、Flink 源码解析 —— standalonesession 模式启动流程 5、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Job Manager 启动 6、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Task Manager 启动 7、Flink 源码解析 —— 分析 Batch WordCount 程序的执行过程 8、Flink 源码解析 —— 分析 Streaming WordCount 程序的执行过程 9、Flink 源码解析 —— 如何获取 JobGraph？ 10、Flink 源码解析 —— 如何获取 StreamGraph？ 11、Flink 源码解析 —— Flink JobManager 有什么作用？ 12、Flink 源码解析 —— Flink TaskManager 有什么作用？ 13、Flink 源码解析 —— JobManager 处理 SubmitJob 的过程 14、Flink 源码解析 —— TaskManager 处理 SubmitJob 的过程 15、Flink 源码解析 —— 深度解析 Flink Checkpoint 机制 16、Flink 源码解析 —— 深度解析 Flink 序列化机制 17、Flink 源码解析 —— 深度解析 Flink 是如何管理好内存的？
flink源码解析
yoohhwz的博客
02-08 3703
flink源码解析
Flink源码解析-从API到JobGraph
woliuqiangdong的博客
11-01 276
首先，本文假定读者对流计算思想已经有基本的认识、对Flink的API已经熟练使用、对Flink的设计思想已经有初步了解，本文着重介绍从api到flinkjob的详细过程。 Streaming API 通常情况下，如果想要使用flink进行并行计算，开发者会把自己的业务逻辑抽象成流式计算的模型，使用flink提供的api定义Job来实现该模型，因此一个flinkjob的生命是从api开始的。我们从一个官网的word count的例子开始，稍做一些修改，代码如下： 如上便是一个flinkJob编写
源码 解析_Flink 源码解析
weixin_36473855的博客
01-12 221
1、Flink 源码解析 —— 源码编译运行2、Flink 源码解析 —— 项目结构一览3、Flink 源码解析—— local 模式启动流程4、Flink 源码解析 —— standalone session 模式启动流程5、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Job Manager 启动6、Flink 源码解析 —— Stand...
Flink源码解读
yangwenxiaohaha的博客
01-01 470
Flink源码解读 org.apache.flink.client; LocalExecutor模式解读 A class for executing a {@link Plan} on a local embedded Flink runtime instance. 用于在本地嵌入的Flink运行时实例上执行{计划}的类 public class LocalExecutor extends P...
Flink内核源码解析
LaZY的博客
05-06 663
参考 提交流程 程序入口 yarn-per-job模式： 运行程序后启动的进程： Clifrontend（相当于client） Yarnjobclusterentrypoint（相当于JM） Taskexecutorrunner（相当于TM） 程序入口：Org. Apache. Flink. Client cli. Clifrontend ...
Flink源码解析(从CliFrontend提交开始)-第一期
Airy的博客
04-27 3401
序言 经过一段时间对于flink学习且画了一些源码流程相关的图，决定开一个flink源码分析的专栏，该专栏以flink on yarn的 Per-job模式为基础，基于flink1.12.0，以官方SocketWindowWordCount例子来分析一个任务从提交到运行的流程源码分析。那么话不多，直接开始吧。 首先我们正常情况下，在该模式下的提交flink任务的脚本入下： flink run -t yarn-per-job -c org.apache.flink.streaming.example.
Flink源码剖析
weixin_37172178的博客
10-04 2389
执行环境 ExecutionEnvironment数据抽象 DataSet DataStream逻辑操作 Source Transformation Sink1. 获取执行环境2. 通过执行环境对象，注册数据源Source，得到数据抽象3. 调用数据抽象的各种Transformation执行逻辑计算4. 将各自Transformation执行完毕之后得到的计算结果数据抽象注册Sink5. 提交Job执行。
Flink流处理：StreamGraph生成深度解析
StreamGraph生成函数会根据这些转换链路，构建出一个有向无环图（DAG），每个节点代表一个算子，边则表示数据流的流向。 接着，生成的StreamGraph进一步发展成为JobGraph，这是Flink在分布式环境中的执行单元。...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值