flink on yarn

在flink on yarn模式中

flink yarn-session的两种提交方式

1.公用一个yarn-session

在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中，除非手工停止。

2.每个job提供一个yarn-session

每次提交都会创建一个新的flink集群，任务之间互相独立，互不影响，方便管理。任务执行完成之后创建的集群也会消失。

第一种方式

1.首先启动yarn session，并且会启动Flink的两个必要服务：JobManager和TaskManagers，然后你可以向集群提交作业。同一个Session中可以提交多个Flink作业。

线上脚本： bin/yarn-session.sh -n 7 -s 8 -jm 3072 -tm 32768 -qu root.*.*-nm *-* -d

 

其中申请7个taskManager 每个8核 每个taskmanager有32768M内存 

这样我们就启动了一个yarn-session 就可以提交flink任务了。

2.我们可以使用./bin/flink脚本提交作业

线上脚本： bin/flink run -c **** jars/**** test

-c 是全类名