
🏡 个人主页:IT贫道-优快云博客
🚩 私聊博主:私聊博主加WX好友,获取更多资料哦~
🔔 博主个人B栈地址:豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频
目录
1. 任务提交命令
Yarn Session模式首先需要在Yarn中初始化一个Flink集群(称为Flink Yarn Session 集群),开辟指定的资源,以后的Flink任务都提交到这里。这个Flink集群会常驻在YARN集群中,除非手工停止(yarn application -kill id),当手动停止yarn application对应的id时,运行在当前application上的所有flink任务都会被kill。这种方式创建的Flink集群会独占资源,不管有没有Flink任务在执行,YARN上面的其他任务都无法使用这些资源。
1) 启动Yarn Session集群
启动Yarn Session 集群前首先保证HDFS和Yarn正常启动,这里在node5节点上来使用名称创建Yarn Session集群,命令如下:
[root@node5 ~]# cd /software/flink-1.17.1/bin/
#启动Yarn Session集群,名称为wubaibao,每个TM有3个slot
[root@node5 bin]# ./yarn-session.sh -s 3 -nm wubaibao -d
上启动Yarn Session集群命令

本文详细介绍了Apache Flink在Yarn上运行的Session模式,包括任务提交命令、提交流程,以及资源动态分配的过程。在Yarn Session模式中,Flink集群常驻YARN,任务资源按需分配,提供高效资源利用。
订阅专栏 解锁全文
348

被折叠的 条评论
为什么被折叠?



