flink on yarn提交样例，控制1个taskmanger 拥有的slot和cpu个数参数配置

原创于 2022-11-04 23:28:39 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

Author:baiyun ,Email:mitbaiyun@163.com

文章标签：

#flink #大数据

大数据数仓同时被 2 个专栏收录

34 篇文章

订阅专栏

实时

13 篇文章

订阅专栏

本文介绍如何在Flink中使用YARN模式进行部署，并详细列出配置参数，包括设置并行度、TaskManager的Slot数量及CPU核心数等。

下面表示并行度为4,1个TM的slot数量为3,1个TM的cpu个数是2

注意 flink在版本1.13.6 -yD yarn.containers.vcores=2 时参数没有生效，

./bin/flink run -t yarn-per-job -d  \
-Dyarn.application.queue=default -Djobmanager.memory.process.size=2048mb -Dtaskmanager.memory.process.size=4096mb \
-Dyarn.application.name=test2 -Dtaskmanager.numberOfTaskSlots=3 \
-Dyarn.containers.vcores=2 \
-p 4  \
-c com.baiyun.Demo1 /home/hadoop/xx-1.0-SNAPSHOT.jar