在flink on yarn模式中
flink yarn-session的两种提交方式
1.公用一个yarn-session
在yarn中初始化一个flink集群,开辟指定的资源,以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中,除非手工停止。
2.每个job提供一个yarn-session
每次提交都会创建一个新的flink集群,任务之间互相独立,互不影响,方便管理。任务执行完成之后创建的集群也会消失。
第一种方式
1.首先启动yarn session,并且会启动Flink的两个必要服务:JobManager和TaskManagers,然后你可以向集群提交作业。同一个Session中可以提交多个Flink作业。
线上脚本: bin/yarn-session.sh -n 7 -s 8 -jm 3072 -tm 32768 -qu root.*.*-nm *-* -d
其中申请7个taskManager 每个8核 每个taskmanager有32768M内存
这样我们就启动了一个yarn-session 就可以提交flink任务了。
2.我们可以使用./bin/flink脚本提交作业
线上脚本: bin/flink run -c **** jars/**** test
-c 是全类名