十八、Flink源码阅读--JobManager启动过程

最新推荐文章于 2025-06-21 22:59:30 发布

灰二和杉菜

最新推荐文章于 2025-06-21 22:59:30 发布

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

分类专栏： Apache Flink 文章标签： Flink JobManager启动过程源码

本文链接：https://blog.youkuaiyun.com/qq475781638/article/details/90757038

本文详细探讨了Flink JobManager在standalone模式下的启动步骤，从start-cluster.sh入口开始，逐步分析了StandaloneSessionClusterEntrypoint类，重点关注了initializeServices方法中的服务初始化，包括webMonitorEndpoint、resourceManager和dispatcher的启动。webMonitor提供Web服务，checkpoint管理和异常恢复；resourceManager处理leader选举，slot管理及与TaskExecutor的交互；dispatcher则负责任务接收和JobMaster的启动。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文我们详细看下Jm的启动步骤，主要看下stand-alone模式下Jm的启动，在关键步骤是穿插on-yarn模式的说明

入口分析

从flink安装包的bin/start-cluster.sh分析开始，会发现Jm的主类org.apache.flink.runtime.entrypoint.StandaloneSessionClusterEntrypoint，tm的主类是
org.apache.flink.runtime.taskexecutor.TaskManagerRunner

StandaloneSessionClusterEntrypoint

public static void main(String[] args) { //args --configDir xxx --executionMode cluster
	... 解析参数

	Configuration configuration = loadConfiguration(entrypointClusterConfiguration);
	StandaloneSessionClusterEntrypoint entrypoint = new StandaloneSessionClusterEntrypoint(configuration);
	entrypoint.startCluster();//启动
}

===>

protected void startCluster() {
	LOG.info("Starting {}.", getClass().getSimpleName());
	try {
		configureFileSystems(configuration);

		SecurityContext securityContext = installSecurityContext(configuration);

		securityContext.runSecured((Callable<Void>) () -> {
			runCluster(configuration);//启动cluster

			return null;
		});
	} catch (Throwable t) {
		LOG.error("Cluster initialization failed.", t);

		shutDownAndTerminate(
			STARTUP_FAILURE_RETURN_CODE,
			ApplicationStatus.FAILED,
			t.getMessage(),
			false);
	}
}

===>

protected void runCluster(Configuration configuration) throws Exception {
	synchronized (lock) {
		initializeServices(configuration);//初始化组件

		// write host information into configuration
		con