Flink源码-ExecutionGraph基本概念

最新推荐文章于 2025-05-02 21:59:26 发布

Guanglew

最新推荐文章于 2025-05-02 21:59:26 发布

阅读量278

点赞数

CC 4.0 BY-SA版权

文章标签： flink 大数据 big data

本文链接：https://blog.youkuaiyun.com/sduwgl/article/details/47814403

本文解析了JobManager如何将JobGraph转换为ExecutionGraph，深入剖析ExecutionGraph的构成，包括ExecutionJobVertex、IntermediateResult等关键组件，并介绍其实现步骤，涉及数据处理库的导入及网络数据加载。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

前言

JobManager 根据 JobGraph 生成 ExecutionGraph。ExecutionGraph 是 JobGraph 的并行化版本，是调度层最核心的数据结构。

一、ExecutionGraph的构成

真正把任务从一个分解成了多个！

JobVertex 变成了 ExecutionJobVertex。
Intermediate DataSet 变成了 IntermediateResult。
JobEdge 变成了 ExecutionEdge
ExecutionJobVertex 由 ExecutionVertex 组成
IntermediateResult 由 IntermediateResultPartition 组成

二、使用步骤

1.引入库

代码如下（示例）：

import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import warnings warnings.filterwarnings('ignore') import ssl ssl._create_default_https_context = ssl._create_unverified_context

2.读入数据

代码如下（示例）：

data = pd.read_csv( 'https://labfile.oss.aliyuncs.com/courses/1283/adult.data.csv') print(data.head())

该处使用的url网络请求的数据。

总结

提示：这里对文章进行总结：
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。