yarn-session模式提交flink任务步骤

Session模式

yarn-session.sh(开辟资源) + flink run(提交任务)

1.在yarn上启动一个Flink会话,node1上执行以下命令

/export/server/flink/bin/yarn-session.sh -n 2 -tm 800 -s 1 -d

说明:

申请2个CPU、1600M内存

-n 表示申请2个容器,这里指的就是多少个taskmanager

-tm 表示每个TaskManager的内存大小

-s 表示每个TaskManager的slots数量

-d 表示以后台程序方式运行

注意:

该警告不用管

WARN org.apache.hadoop.hdfs.DFSClient - Caught exception

java.lang.InterruptedException

2.查看UI界面

http://node1:8088/cluster

3.使用flink run提交任务:

/export/server/flink/bin/flink run /export/server/flink/examples/batch/WordCount.jar

运行完之后可以继续运行其他的小任务

/export/server/flink/bin/flink run /export/server/flink/examples/batch/WordCount.jar

4.通过上方的ApplicationMaster可以进入Flink的管理界面

5.关闭yarn-session:

yarn a

<think>嗯,用户问的是关于yarn-session.sh-qu参数用法和配置方法。首先,我需要回忆一下Flink on YARN的相关知识。记得-qu是用来指定YARN队列的,对吧?用户可能在使用yarn-session的时候需要将任务提交到特定的资源队列,比如区分不同的团队或者项目。 那先得确认-qu参数的作用。根据引用里的信息,比如引用3中提到了命令里有-qu root.flink,这说明-qu后面接的是队列名称。需要告诉用户这个参数的基本语法,比如在yarn-session.sh后面加上-qu <队列名>。 接下来,用户可能想知道如何正确配置这个参数。可能需要检查YARN的队列配置是否存在,否则会提交失败。例如,如果用户指定的队列不存在,YARN会报错。所以需要提醒用户先用yarn命令查看可用队列,比如yarn queue -status。 然后,可能还需要提到一些注意事项,比如资源队列的权限问题,用户是否有权限提交到那个队列。还有,如果-qu参数不生效,可能有其他配置覆盖了它,或者脚本版本问题。比如引用3提到过应用名和队列无效的问题,可能参数位置不对,应该放在yarn-session.sh之后,而不是flink run的时候。 另外,需要给出一个具体的示例,帮助用户理解如何使用。比如引用3中的命令,-qu root.flink,这样用户可以看到实际的用法。还要说明其他参数的作用,避免混淆,比如-nm是应用名称,-qu是队列名称。 可能用户还会遇到问题,比如参数无效,这时候需要指导他们如何排查,比如检查YARN的配置,或者查看日志。引用5中的错误解决可能涉及资源不足,但这里主要关注队列设置是否正确。 总结一下,回答应该分步骤:1. 参数作用,2. 使用方法,3. 验证队列是否存在,4. 示例,5. 注意事项。这样结构清晰,用户能一步步跟着操作。</think>### 关于 `yarn-session.sh` 的 `-qu` 参数用法及配置方法 #### 1. `-qu` 参数的作用 `-qu` 参数用于指定 **YARN 资源队列(Queue)**,允许将 Flink 任务提交到特定的 YARN 队列中,以实现资源隔离和多租户管理。例如,在集群中为不同团队划分独立队列时,可通过此参数控制任务资源分配[^3][^4]。 #### 2. 使用方法 在启动 `yarn-session` 时,直接在命令中通过 `-qu` 指定队列名称: ```bash $FLINK_HOME/bin/yarn-session.sh -qu <队列名称> [其他参数] ``` 例如: ```bash $FLINK_HOME/bin/yarn-session.sh -qu root.flink -n 5 -jm 1g -tm 4g -nm fsql-cli ``` 此处将任务提交到 `root.flink` 队列,并设置容器数量、内存等参数[^3]。 #### 3. 配置验证 - **检查队列是否存在**:通过 YARN 命令验证队列是否已正确配置: ```bash yarn queue -status <队列名称> ``` 若队列不存在或权限不足,任务提交会失败。 - **资源匹配**:确保队列的资源配额(如内存、CPU)满足任务需求,否则可能触发资源不足错误[^5]。 #### 4. 注意事项 - **参数位置**:`-qu` 必须作为 `yarn-session.sh` 的参数,而非 `flink run` 的参数。 - **优先级问题**:若 YARN 集群配置了默认队列,且未显式指定 `-qu`,任务提交到默认队列。 - **权限控制**:需确保用户对目标队列有提交权限(由 YARN ACL 控制)[^2][^4]。 #### 5. 示例场景 假设需向 `root.production` 队列提交一个 Flink Session 集群: ```bash $FLINK_HOME/bin/yarn-session.sh \ -qu root.production \ -n 4 \ -tm 4096m \ -s 8 \ -jm 2g \ -nm flink-prod-job ``` --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值