Flink内核源码解析系列（一）：如何找到程序入口？

最新推荐文章于 2024-02-20 15:20:53 发布
最新推荐文章于 2024-02-20 15:20:53 发布
阅读量323 收藏 1
点赞数
分类专栏： Flink内核源码解读 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/MissWYAN/article/details/117552604
版权
本文是Flink内核源码解析系列的第一部分，主要探讨了在Flink 1.12版本中，以Yarn-per-job模式执行任务时的程序起点。通过分析命令行提交模式，揭示了Flink任务提交的入口类——org.apache.flink.client.cli.CliFrontend，其main方法作为任务执行的初始点。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前提

这个系列以Flink1.12分支的源码作为解读范本，以yarn-per-job模式讲解源码，请自行下载Flink源码

程序起点

一般来说，我们使用yarn容器执行Flink任务，会选择命令行提交模式，比如：

./bin/flink run -t yarn-per-job -c ... xx.jar

因此找到flink脚本，发现一行很重要的命令：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink内核源码解析系列（二）：如何从环境变量中获取配置目录？
打工日常
06-05 215
上一篇文章《Flink内核源码解析系列（一）：如何找到程序入口？》中降到了如何找到入口类。 接下来讲org.apache.flink.client.cli.CliFrontend#main方法中的getConfigurationDirectoryFromEnv方法 final String configurationDirectory = getConfigurationDirectoryFromEnv(); 点进这个方法可以看到： public static String getConfigur
Flink内核源码解析系列（四）：加载解析命令的命令行客户端
打工日常
06-05 185
final List<CustomCommandLine> customCommandLines = loadCustomCommandLines(configuration, configurationDirectory); 讲解之前，首先讲一下，什么叫做CommandLine？Flink中将用户输入的命令封装成了CommandLine。比如《Flink内核源码解析系列（一）：如何找到程序入口？》 中写的： ./bin/flink run -t yarn-pe
Flink内核源码解析(出自B站尚硅谷)
qq_24095055的博客
05-06 6373
文章目录任务提交流程 本套教程针对Flink 1.12.0版本的核心模块进行源码级讲解，从任务提交流程、通讯过程、Task调度、内存模型四大方面入手，庖丁解牛逐行分析源码，手术刀级别剖析Flink内核架构！ 任务提交流程 实例以yarn-per-job为例。 flink提交作业是通过flink run进行提交的，可以从提交脚本中看到启动类即程序的入口是： org.apache.flink.client.cli.CliFrontend 查看其中的main方法，执行的逻辑简单总结如下： 获取flink的c
flink 程序入口
qq_39291431的博客
09-30 745
【代码】flink 程序入口。
flink源码阅读第一篇—入口
ludongguoa的博客
10-26 629
前序 由于最近接触了flink相关项目，封装flink-table模块，这部分模块应该在flink官方1.9x版本进行发布，截止目前还是beta版本，等待最终的release版本发布。在开发期间，出于工作和兴趣的需求，就阅读了部分源码，阅读源码期间也是阅读了很多博客文章，发下文章写错的也比比皆是呀，哎有时也会误导人。先叙述第一篇总体轮廓篇。该篇总体思路是从flink任务提交开始，从本地提交代码逻辑，到服务端如果接收任务，最后运行的不同分支逻辑。了解这部分逻辑，需要一些基础知识，包括yarn, netty最
Flink内核源码解析--Flink中重要的工作组件和机制
weixin_42492886的博客
08-16 964
这是因为Flink节点与节点之间，组件与组件之间通信采用的是Akka，但是数据交换，比如算子与算子之间的数据交换采用的是Netty，比如Flink中有JobManager，还有TaskManager从节点，而JobManager主节点里面有一些组件，比如JobMaster，Dispatcher等，组件与组件之间通信采用的是Akka，而Netty是算子与算子之间，比如Map算子后面跟着Filter,Filter后面跟着reducekeyby等操作这些算子之间采用的是Netty来通信的。
2021最新大数据技术之Flink内核源码解析课程
agandjse的博客
02-22 239
课程介绍： 本套教程另辟蹊径，针对Flink 1.12.0版本的核心模块进行源码级讲解，从任务提交流程、通讯过程、Task调度、内存模型四大方面入手，庖丁解牛逐行分析源码，手术刀级别剖析Flink内核架构！ 课程目录： 00.Flink内核解析_课程简介 01.Flink内核解析_提交流程_程序入口 02.Flink内核解析_提交流程_参数解析 03.Flink内核解析_提交流程_选择哪种命令行客户端 04.Flink内核解析_提交流程_封装有效配置和程序 05.Flink内核解析_提交流程_执行用户代
Flink内核源码解析
LaZY的博客
05-06 616
参考 提交流程 程序入口 yarn-per-job模式： 运行程序后启动的进程： Clifrontend（相当于client） Yarnjobclusterentrypoint（相当于JM） Taskexecutorrunner（相当于TM） 程序入口：Org. Apache. Flink. Client cli. Clifrontend ...
Flink内核源码解析系列（十一）：如何准备启动Yarn AppMaster？
打工日常
06-09 228
final ClusterClientProvider<ClusterID> clusterClientProvider = clusterDescriptor.deployJobCluster( clusterSpecification, jobGraph, configAccessor.getDetachedMode()); deployJobCluster org.apache.flink.y
透过源码看懂Flink核心框架的执行流程.pdf
10-23
透过源码看懂Flink核心框架的执行流程.pdf透过源码看懂Flink核心框架的执行流程.pdf
flink源码剖析之-＞入口类Clifronted
qq_35640216的博客
11-28 459
flink Clifrontend入口类解析
flink分析使用之二入口代码分析
fpcc的专栏
04-07 1324
flink分析使用之二入口代码分析 一、简介 在Flink中，启动的方式有三种，即local,standalone和Yarn,同时其还可以配置为高可用（HA）集群。它们的实现虽然有所异同，但是总体的原理是一致的。这里的源码分析从standalone的源码开始分析，即：org.apache.flink.runtime.entrypoint.StandaloneSessionClusterEntryp...
5. SpringBoot项目的源码入口源码解析
04-10 773
微服务自动装配 在微服务的使用Sentinel实际工作场景中，我们只需要引入对应依赖：spring-cloud-starter-alibaba-sentinel，就能使用流控了， 原因是引入后利用SpringBoot自动装配功能，所以在META-INF/spring.factories中有SentinelAutoConfiguration来实现流控Sentinel的自动装配。 SentinelAutoConfiguration 自动装配类中有如下代码自动注入Bean SentinelResourceA
Flink任务提交源码阅读（二）：入口类CliFrontend
TRX的博客
11-19 4405
接着上一章的内容，今天继续阅读Flink1.9.0任务提交源码的入口类：org.apache.flink.client.cli.CliFrontend 上篇文章：Flink1.9.0任务提交源码阅读（一）：flink脚本 1.入口类逻辑 从main()开始，直接上代码 /** Submits the job based on the arguments. */ public static ...
flink源码解读--2 入口类CliFrontend
peidezhi的专栏
01-21 992
参考文章：https://blog.youkuaiyun.com/weixin_43161811/article/details/103151644 从上篇文章，我们知道，flink脚本提交后，由CliFrontend main开始执行。 /** Submits the job based on the arguments. */ public static void main(final...
flink学习（scala版)--第三章：Flink的部署模式之（快速启动一个flink集群并且向集群提交任务）
simple_code
03-22 1278
Flink的部署模式之（快速启动一个flink集群并且向集群提交任务）
学习Flink的基本概念和核心类总结：
u013558123的博客
06-05 568
学习Flink的基本概念和核心类总结
【Flink】Flink 1.9 升级 1.12.4 本地可以运行 打包后 集群运行就找不到类 ClassNotFoundException
九师兄
07-07 1208
1.场景1 1.1 概述 升级过程请参考： 【Flink】Flink 从 1.9.1 版本 升级到 1.12.4 版本的 注意事项 以及 过程 然后本地运行好好的，但是而且，是在主类中类。 打开jar包也是存在这个类的 但是启动报错找不到类 启动脚本如上 实际上的包结构如下 最后将主类放到lib下才解决，仅仅这个还不行。还会报错各种类找不到。 参考：https://blog.youkuaiyun.com/weixin_53803675/article/details/115934556 1.打包上传后，加载类
【Flink精讲】Flink内核源码分析：命令执行入口
最新发布
话数Science
02-20 512
【Flink精讲】Flink内核源码分析：命令执行入口 官方推荐per-job模式，一个job一个集群，提交时yarn才分配集群资源； 主要的进程：JobManager、TaskManager、Client /flink-1.12.0/bin/flink命令：入口：org.apache.flink.client.cli.cliFrontend 环境信息：conf.sh
Flink源码全面解析：架构、启动流程及机制深度分析
### Flink 源码编译运行 Apache Flink 是一个开源的流处理框架，用于处理大规模的实时或批量数据。源码编译运行是深入理解Flink原理的重要途径。在源码编译阶段，通常需要将源代码下载到本地，然后根据项目构建文件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Better~Me

谢谢小可爱，希望你每天都开心~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值