Apache Flink 2.x 独立集群(Standalone Cluster) 的部署是一种不依赖外部资源管理器(如 YARN 或 Kubernetes)的经典部署模式,非常适合中小规模生产环境、测试和概念验证。
一、 Standalone 集群架构剖析
1. 核心组件
一个 Flink Standalone 集群由两种进程组成,形成一种主从(Master-Worker)架构:
-
JobManager (主节点/Master):
-
职责: 集群的"大脑"。负责接收提交的作业(Job),调度任务(Task),协调检查点(Checkpoint),故障恢复等。
-
高可用(HA)模式: 通常需要部署多个 JobManager,其中一个为 Leader(活跃状态),其他为 Standby(备用状态)。通过 ZooKeeper 进行领导者选举和元数据存储,实现故障自动切换。
-
关键进程:
StandaloneSessionClusterEntrypoint
-
-
TaskManager (工作节点/Worker):
-
职责: 集群的"肌肉"。负责执行 JobManager 分配的具体数据任务(Task)。每个 TaskManager 是一个独立的 JVM 进程,提供一定数量的任务槽(Task Slot)。
-

最低0.47元/天 解锁文章
583

被折叠的 条评论
为什么被折叠?



