- 博客(21)
- 收藏
- 关注
RSS订阅
原创 Flink与Kafka核心源码详解-目录
Flink是Apache软件基金会下开源的分布式流批一体计算框架，具备实时流计算和高吞吐批处理计算的大数据计算能力。本专栏内容为Flink源码解析的记录与分享。本文解析的Flink源码版本为：flink-1.19.0以下为Flink-1.19.0-完整源码详解的目录导航。1.《》(重点)2.《3.《4.《》(重点)5.《》(重点)6.《》(重点)7.《8.《》(重点)9.《Flink-1.19.0源码详解9-ExecutionGraph生成-后篇》(重点)
2025-08-07 20:24:41
1029
原创 Flink-1.19.0源码详解11-Flink ResourceManager资源调度
本文从Flink Resource Manager为每个Execution节点组进行计算资源的申请与启动TaskManager开始解析。解析Flink Resource Manager管理自身计算资源，并为节点组向Yarn Resource Manager申请封装Cpu与内存资源的Container，进而为节点组启动新的TaskManager的过程。
2025-12-08 20:40:51
979
原创 Flink-1.19.0源码详解10-Flink计算资源的申请与调度
本文为Flink对SchedulingPipelinedRegion进行计算资源的申请与调度的源码解析
2025-12-08 20:37:57
873
原创 Flink-1.19.0源码详解9-ExecutionGraph生成-后篇
本文解析了ExecutionGraph的ExecutionJobVertex节点、ExecutionVertex节点、IntermediateResult数据集、IntermediateResultPartition数据集分区与封装Task执行信息的Execution的创建；解析了ExecutionJobVertex节点与前置的IntermediateResult数据集的连接，及SchedulingPipelinedRegion的划分。
2025-08-07 20:25:38
1212
原创 Flink-1.19.0源码详解8-ExecutionGraph生成-前篇
本文解析了Apache Flink 1.19.0中ExecutionGraph生成的完整源码。解析了Flink JobMaster通过对JobVertex的进行遍历，依次生成ExecutionJobVertex、ExecutionVertex、IntermediateResult、IntermediateResultPartition和其连接关系，构建ExecutionGraph图的完整过程。
2025-07-24 19:45:00
1086
原创 Flink-1.19.0源码详解7-Flink集群端调度
本文从Flink集群接收Flink客户端请求开始解析Flink集群端的调度。解析Flink集群Dispatcher接收了CliFrontend客户端发送的Request，从hdfs拉取JobGraph文件、Jar包和Artifacts依赖 ，创建并启动JobMaster开始Flink集群端的调度。
2025-07-24 19:15:00
2049
原创 Flink-1.19.0源码详解6-JobGraph生成-后篇
本文从Flink执行StreamExecutionEnvironmentd.execute()方法开始，解析Flink JobGraph生成的源码，解析Flink遍历StreamGraph每个StreamNode节点，逐步生成JobVertex节点、JobEdge边和IntermediateDataSet数据，逐步构建并序列化JobGraph图的完整源码。
2025-07-09 19:30:00
1293
原创 Flink-1.19.0源码详解-番外补充4-JobGraph图
JonbGraph图与JobVertex节点、JobEdge边、IntermediateDataSet数据集的补充解析。
2025-07-09 19:00:00
1736
原创 Flink-1.19.0源码详解5-JobGraph生成-前篇
本文从Flink执行StreamExecutionEnvironmentd.execute()方法方法,进行JobGraph生成开始，解析Flink JobGraph生成的源码，解析Flink遍历StreamGraph每个StreamNode节点，逐步生成JobVertex节点、JobEdge边和记录节点结果输出的IntermediateDataSet，逐步构建JobGraph图的完整源码。
2025-07-02 21:34:13
1333
原创 Flink-1.19.0源码详解-番外补充3-StreamGraph图
StreamGraph图与StreamNode节点、StreamEdge的补充解析。
2025-07-02 21:30:45
493
原创 Flink-1.19.0源码详解4-StreamGraph生成
本文从Flink执行StreamExecutionEnvironment.execute()方法进入任务调度开始，解析Flink StreamGraph生成的源码（内容为下流程图的红色部分），解析Flink遍历Transformation集合，逐步生成StreamNode与StreamEdge，构建StreamGraph图的完整源码。
2025-06-24 19:27:43
1106
原创 Flink-1.19.0源码详解-番外补充2-算子的定义与执行解析
本文通过解析源码，以WordCount为例子分别解析在Flink源码中Map和Reduce算子是如何在Flink中定义和执行。
2025-05-27 19:45:00
669
原创 Flink-1.19.0源码详解3-Flink DataStream数据流转换为Transformation集合源码解析
本文从Flink主类的main()方法开始解析，解析Flink主类main()方法运行后，Flink程序逐步将研发人员编写的DataStream数据流转换为Flink Transformation集合并添加到StreamExecutionEnvironment上下文环境的过程。
2025-05-27 19:30:00
1115
原创 Flink-1.19.0源码详解2-Flink CliFrontend客户端启动源码解析
本文解析的Flink源码为Flink CliFrontend客户端的启动。Flink CliFrontend启动内容主要是用户通过bin/flink run命令启动Flink的CliFrontend客户端的Java程序，CliFrontend客户端解析提交参数、生成配置与上下文环境、执行Flink的主程序。
2025-05-14 21:45:00
1493
原创 Flink-1.19.0源码详解1-Flink各级调度核心原理与源码解析(2.5W字)
本文内容的Flink每级计算调度与任务执行的源码解析，从头到尾梳理了Flink如何从DataStreamAPI经过Transformation、StreamGraph、JobGraph、ExecutionGraph、物理执行图等多级计算拓扑构建与计算调度，最终在TaskManager分布式执行的过程，并对各级调度的核心源码进行记录与解读。
2025-04-27 19:57:26
970
6
原创 Kafka-3.8.0源码详解5-Kafka生产者配置详解与拓展调优
本专栏前几篇博文已详细解析了kafka生产者在系统启动、消息生产、数据发送中的工作原理及核心源码， 本文回归组件使用，整理Kafka生产者的配置详解和功能拓展，力求从源码视角掌握下如何使用好组件。
2025-03-30 18:05:10
1786
原创 Kafka-3.8.0源码详解4-Kafka生产者数据发送源码详解
本文内容为KafkaProducer数据发送过程的源码解析，详细解析了Sender元数据更新、ProducerBatch数据发送、NetworkClient网络传输等各个环节的Kafka源码，完整展现了KafkaProducer进行数据发送的各步骤操作细节。
2025-01-22 19:31:26
2459
4
原创 Kafka-3.8.0源码详解3-Kafka生产者消息生产源码详解
本文内容为KafkaProducer消息生产过程的源码解析，详细解析了Kafka消息生产中，数据预处理、元数据更新、数据序列化、消息分区生产、写入消息累加器等各个环节的Kafka源码，完整展现了KafkaProducer进行消息生产的各步骤操作细节。
2025-01-09 19:04:44
2398
原创 Kafka-3.8.0源码详解2-Kafka生产者及其核心组件启动源码解析
本文解析了 Kafka 生产者的启动源码，梳理了 KafkaProducer 的核心组件，并记录了各组件的启动过程。后文将进一步解析 KafkaProducer 的消息生产与数据发送流程，同时展示本次启动的组件在 KafkaProducer 中发挥的具体作用。
2025-01-01 13:48:08
1380
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人