10、Flink的运行架构

最新推荐文章于 2025-04-27 13:34:35 发布

自学大数据的菜鸡

最新推荐文章于 2025-04-27 13:34:35 发布

阅读量3k

点赞数

分类专栏： Flink 文章标签： flink 大数据

本文链接：https://blog.youkuaiyun.com/yunweijie_cn/article/details/123441251

版权

本文详细介绍了Flink的运行架构，包括JobManager、TaskManager、ResourceManager和Dispatcher的角色与职责。JobManager负责作业调度，TaskManager执行任务，ResourceManager管理资源，Dispatcher接收和分发应用。Flink任务提交流程涉及JobManager向ResourceManager申请资源，TaskManager提供slots执行任务。此外，还阐述了Flink任务调度的基本原理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、Flink的架构

Flink运行时由两种类型的进程组成：一个JobManager和一个或者多个TaskManager，采用了典型的Master-Slave架构，如下图：
在这里插入图片描述
作业管理器JobManager只负责调度，不负责运行。
任务管理器TaskMananger负责执行程序。

二、Flink运行时的组件

Flink 运行时架构主要包括四个不同的组件，它们会在运行流处理应用程序时协同工作：作业管理器（JobManager）、资源管理器（ResourceManager）、任务管理器（TaskManager），以及分发器（Dispatcher）。因为 Flink 是用 Java 和 Scala 实现的，所以所有组件都会运行在 Java 虚拟机（JVMs）上。