flink on yarn

本文介绍了Flink在YARN上的运行模式,包括公用一个YARN-session和每个job提供一个YARN-session。公用session适用于提交多个作业,而每个job提供session则保证任务独立。详细阐述了两种方式的启动、提交作业、停止程序的方法,以及各自的适用场景。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在flink on yarn模式中

flink yarn-session的两种提交方式

1.公用一个yarn-session

在yarn中初始化一个flink集群,开辟指定的资源,以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中,除非手工停止。

2.每个job提供一个yarn-session

每次提交都会创建一个新的flink集群,任务之间互相独立,互不影响,方便管理。任务执行完成之后创建的集群也会消失。

第一种方式

1.首先启动yarn session,并且会启动Flink的两个必要服务:JobManager和TaskManagers,然后你可以向集群提交作业。同一个Session中可以提交多个Flink作业。

线上脚本: bin/yarn-session.sh -n 7 -s 8 -jm 3072 -tm 32768 -qu root.*.*-nm *-* -d

 

其中申请7个taskManager 每个8核 每个taskmanager有32768M内存 

这样我们就启动了一个yarn-session 就可以提交flink任务了。

2.我们可以使用./bin/flink脚本提交作业

线上脚本: bin/flink run -c **** jars/**** test

-c 是全类名

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值