Flink Job 运行过程详解

最新推荐文章于 2024-07-22 07:15:00 发布

MfvShell

最新推荐文章于 2024-07-22 07:15:00 发布

阅读量291

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/MfvShell/article/details/133335345

Flink 专栏收录该内容

64 篇文章 ¥59.90 ¥99.00

订阅专栏

本文深入探讨了Flink Job的运行过程，包括环境设置与作业提交、作业图构建、优化分配、任务执行、容错机制以及作业监控。通过实例解析了算子连接、自定义函数应用和状态保存，揭示了Flink高效、低延迟数据处理的秘密。

Flink 是一个流式处理和批处理框架，具有高吞吐量、低延迟和容错性。在 Flink 中，Job 是指用户提交的一个数据处理任务。本文将详细介绍 Flink Job 的运行过程，并提供相应的源代码示例。

环境设置和作业提交
在开始运行 Flink Job 之前，需要设置相应的环境和配置。首先，需要创建一个 ExecutionEnvironment 或者 StreamExecutionEnvironment 对象，用于执行作业。然后，可以通过设置相应的参数，如并行度、作业名称等。最后，通过调用 execute() 方法提交作业。

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

MfvShell

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

订阅专栏

Flink源码第一篇：Flink之Job启动流程

huzechen的博客

11-06

1341

Flink启动Job $ ./bin/flink run examples/streaming/SocketWindowWordCount.jar 先看一下flink脚本内部调度流程 cat flink 大家可以看到flink内部执行流程初始化config 调用CliFrontend CliFrontend 类目录：package or...

Flink Job 执行流程

程序猿进阶

12-27

5784

模式【1】；生成，然后转化为JobGraph；【2】依次启动三者都服从分布式协同一致的策略；将JobGraph转化为，然后转化为物理执行任务Execution，然后进行deploydeploy过程会向请求slot，如果有直接deploy到对应的的slot里面，没有则向Yarn的申请，带container启动以后deploy。【3】负责接收subTask，并运行。整个任务运行代码调用流程如下图subTask在执行时是怎么运行的？调用StreamTask的invoke【1】即operator的；

1 条评论您还未登录，请先登录后发表或查看评论

1 条评论

优快云-Ada助手 2024.01.02
恭喜您撰写了标题为“Flink Job 运行过程详解”的第5篇博客！您对Flink Job的运行过程进行了详细的解析，让读者对其有了更清晰的认识。您的博客内容深入浅出，让人受益匪浅。希望您能继续保持创作的热情，分享更多关于Flink的知识和经验。如果可能的话，下一步您可以考虑分享一些实际应用中的案例或者最佳实践，这将使读者更好地理解如何将Flink Job应用于实际项目中。再次感谢您的分享，期待您未来更多的精彩博文！

Flink02：Flink快速上手（Streaming WorldCount）

anglemanyi的博客

02-19

777

（1）先把Flink的开发环境配置好。（2）创建maven项目：db_flink（3）首先在model中将scala依赖添加进来。（4）然后创建scala目录，因为针对flink我们会使用java和scala两种语言（5）创建包名在src/main/java下创建 com.imooc.java在src/main/scala下创建 com.imooc.scala。

Flink的job提交全流程及web ui提交任务方式

MyNameIsWangYi的博客

08-19

4122

Flink 根据用户提交的代码生成 StreamGraph，经过优化生成 JobGraph，然后提交给 JobManager 进行处理，JobManager 会根据 JobGraph 生成 ExecutionGraph，ExecutionGraph 是 Flink 调度最核心的数据结构，JobManager 根据 ExecutionGraph 对 Job 进行调度。其实本来觉得这篇文章不需要写的，但是在网上搜了一下，有的提交的时候参数写的不全，还有的居然是收费文章！随后左边的就可以看见tm和jm的状态了。

Flink执行过程

qq_42456324的博客

06-07

4315

Flink执行流程

Flink命令行启动Job任务

平凡的运维之路的博客

04-11

1061

Flink非交互式运行Job任务。Flink命令行启动Job任务。Flink查看当前运行Job。Flink查看当前运行Job。

深入理解 Flink（六）Flink Job 提交和 Flink Graph 详解

weixin_44512041的博客

01-11

1628

本章节重点介绍了 Flink Job 提交过程，包含了 StreamGraph 到 JobGraph 在客户端的转换和优化，并给出了源码级剖析。虽然是以 per-job 模式下的提交过程为例，但在 session、application 模式下核心代码并无二致，均可作为研究参照。

flink学习（四）——flink任务执行原理详解

Yohohaha的博客

12-19

3741

在前文中我们学习了flink的整体架构和任务提交执行的流程。现在我们来学习flink在内部具体如何执行任务。任务执行图在flink中有四层执行图，StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行图，如图所示： StreamGraph：是根据用户通过 Stream API 编写的代码生成的最初的图，用来表示程序的拓扑结构。每个转换操作会生成一个StreamNode，两个StreamNodes之间由StreamEdge连接在一起，Str

Flink架构底层原理详解：案例解析（43天）

最新发布

syhiiu的博客

07-22

7721

本文主要详解了Flink架构，通过案例详解Flink流式开发，本地提交，阿里云平台提交。

【Flink】（二）详解 Flink 运行架构_flink的运行架构负荷分担是什么

2301_82242724的博客

06-20

1053

控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的JobManager 所控制执行。JobManager 会先接收到要执行的应用程序，这个应用程序会包括：作业图（JobGraph）、逻辑数据流图（logical dataflow graph）和打包了所有的类、库和其它资源的JAR 包。JobManager 会把JobGraph 转换成一个物理层面的数据流图，这个图被叫做 “执行图”（ExecutionGraph），包含了所有可以并发执行的任务。

Flink Job启动及执行流程分析

淡定一生2333的博客

06-27

4474

之前写过一篇文章分析过Flink的基本架构，当时大概了解了JobManager、TaskManager、Slot等概念，本文主要是想了解下Flink中Job的执行流程，老是把Job执行当成一个黑盒总感觉难受。之前说过FlinkJob Client负责讲任务提交给JobManager执行，Client可以和JobManager通信获取作业的执行状态。JobManager负责接收Flink作业、资源管理(Slot)、task调度、Checkpoint发起等等，TaskManager负责真正...

flink-1.5.6源码分析----flink job执行流程详解(二)

灵翼的专栏

05-03

1065

目录一.wordcount代码逻辑分析 1.1 StreamExecutionEnvironment 运行环境 1.2 DataStreamSource 流数据源 1.3 流处理过程和Sink输出---flatMap,keyBy,sum,print flatMap的逻辑 keyBy的逻辑 Sum的逻辑 Print的逻辑小结 1.4 env.execute启动job 二. ...

Flink学习(二) job 执行流程

leileibest_437147623的专栏

11-02

1215

Flink SourceFunction 学习记录SourceFunction 简单使用和描述SourceContext 详解合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML ...

Flink：执行流程

程序员无羡的博客

04-10

298

Flink：执行流程

Flink学习四：提交Flink运行job

码上中年的博客

07-22

2658

restUI页面提交 1.1 添加上传jar包 1.2 提交任务job 1.3 查看提交的任务 2. 命令行提交 ./flink-1.9.3/bin/flink run -c com.qu.wc.StreamWordCount -p 2 FlinkTutorial-1.0-SNAPSHOT.jar 3. 命令行查看正在运行的job ./flink-1.9.3/bin/flink list 4. 命令行查看所有job ./flink-1.9.3/bin/flink list --all .

一文搞定 Flink Job 的运行过程

shengjk1的博客

04-22

912

背景我们经常通过 Flink Shell 提交代码，如 flink run -p 2 -m yarn-cluster -ynm test -c test ./test-1.0-SNAPSHOT.jar "file" "./test.properties"& 正文总结

Flink

weixin_46579297的博客

06-13

818

Flink

多环境 Flink Job 的生成方案（Maven）

hantangduhey的博客

09-05

1134

多环境 Flink Job 的生成方案（Maven）

Flink开发工程搭建

03-29

1298

1 搭建Flink job工程 flink开发工程 flink采用maven管理工程，官网的template也是基于maven构建的。flink依赖比较好的地方是，所有的版本都是相同的，只要定义一个version变量就可以全部搞定。 maven依赖： <dependency> <groupId>org.apache.flin...

Flink运行架构与作业执行流程详解

"本文将详细解析Flink的运行架构、作业执行流程以及Windows分类等相关知识点。" Flink作为一款强大的实时计算框架，在大数据处理领域扮演着重要的角色。首先，我们来了解一下Flink的运行架构。 1. Flink运行架构：...