[1131]Flink(1.13)命令行提交Job

周小董

已于 2022-08-22 22:36:36 修改

阅读量4k

点赞数

分类专栏： Java技术栈文章标签： flink

于 2022-04-23 21:49:13 首次发布

本文链接：https://blog.youkuaiyun.com/xc_zhou/article/details/124371043

版权

Java技术栈专栏收录该内容

37 篇文章

订阅专栏

文章目录

Flink提供了yarn上运行的3模式，分别为Application Mode, Session-Cluster和Per-Job-Cluster模式。
Yarn 模式会动态申请资源

请注意，客户端需要YARN_CONF_DIR或HADOOP_CONF_DIR环境变量来读取YARN和HDFS配置。没配置的话，就默认是 /etc/hadoop/conf。

在flink1.13以前，lib下是有hadoop相关的jar包的，但是1.13以后被独立出去了，所以需要加上环境变量，可以加在config.sh的开头。

export HADOOP_CLASSPATH=`hadoop classpath`
export YARN_CLASSPATH=`yarn classpath`

相关的属性配置都可以用-D来设置，比如：
应用程序名设置：-Dyarn.application.name=xxx
内存设置：-Dtaskmanager.memory.process.size=4096m

Per-Job-Cluster新老版本启动方法

独享集群，提交之后由yarn现启集群。

老版本（<=1.10）

flink run -m yarn-cluster -c xxx xxx.jar

新版本（>=1.11）

flink run -t yarn-per-job -c xxx xxx.jar

提交一个flink job到yarn（Flink on Yarn Per-Job Mode）
该模式下也可以指定--detached参数，指定了则一旦作业提交被yarn接受，客户端将停止。

./bin/flink run -t yarn-per-job -p 4 \
-Djobmanager.memory.process.size=2048m \
-Dtaskmanager.memory.process.size=4096m \ 
./examples/batch/WordCount.jar

需要帮助则：

./bin/flink run -help

有啥参数可以使用-D来指定，不要使用Options for yarn-cluster mode:下的那些参数比如-ynm、-yjm、-ytm等，不生效。

提交样例

flink  run -t yarn-per-job \   //指定运行模式
-d -ynm FlinkRetention \   //指定在jobmanager里面显示的名字
-Dyarn.application.name=FlinkRetention \    // 指定在yarn上的application的名字
-c com.bigdata.etl.FlinkRetention   // 入口类
 /data/bigdata/flink-dw/target/flink-dw.jar \   //  自己任务的jar包
--consumer.bootstrap.servers ${consumer_bootstrap_servers} \  需要传入的参数
--producer.bootstrap.servers ${producer_bootstrap_servers} \
--retentionGroupId ${retentionGroupId} \
--flinkSeconds ${flinkSeconds} \
--redis.ip ${redis_ip} \
--redis.port ${redis_port} \
--redis.password ${redis_password}

Session-Cluster

先启动一个集群，再将任务提交到上面

Per-Job-Cluster 与 Session-Cluster 区别

Per-Job-Cluster ：
1.多少个job就有多少个集群
Session-Cluster ：
1.会首先在flink上启一个集群，所有的job都交给一个集群中。
2.各个应用之间共享资源。
3.适用于小任务量使用，大任务不太适用。
工作中推荐使用哪一种？
官方推挤，大家推荐使用Per-Job-Cluster的方式。
Session-Cluster 是资源共享，job太多，可能会出现一些问题，但是Session-Cluster也并非一无是处，若job类型一致就可以放到一个集群中。
启动

bin/yarn-session.sh -d

-d 以后台的方式启动

启动日志

luster has been started in detached mode. In order to stop Flink gracefully, use the following command:
$ echo "stop" | ./bin/yarn-session.sh -id application_1628336315656_0001
If this should not be possible, then you can also kill Flink via YARN's web interface or via:
$ yarn application -kill application_1628336315656_0001
Note that killing Flink might not clean up all job artifacts and temporary files.

日志说明

以 后台的方式启动：luster has been started in detached mode.

为了优雅地停止Flink，请使用以下命令: $ echo "stop" | ./bin/yarn-session.sh -id application_1628336315656_0001

如果这是不可能的，那么你也可以通过YARN的web界面或通过以下方式杀死Flink:
$ yarn application -kill application_1628336315656_0001

注意，杀死Flink可能不会清除所有作业工件和临时文件。

yarn

Application

应用模式，1.11 之后次才有的，类比 Per-Job-Cluster，也是独享集群。

Per-Job-Cluster 与 Application 区别

就在于解析代码的位置，

Per-Job-Cluster：
解析main方法是在提交节点的本地。
Application ：
解析main方法是在Master。

高可用配置

更改yarn配置
在yarn-site.xml中配置

    <!-- 支持 flink yarn高可用 -->
    <property>
        <name>yarn.resourcemanager.am.max-attempts</name>
        <!-- 最大重试次数, 默认值为2 -->
        <value>4</value>
        <description>
                The maximum number of application master execution attempts.
        </description>
    </property>

更改flink配置
在flink-conf.yaml中配置

yarn.application-attempts: 3
high-availability: zookeeper
high-availability.storageDir: hdfs://hadoop162:8020/flink/yarn/ha
high-availability.zookeeper.quorum: hadoop162:2181,hadoop163:2181,hadoop164:2181
high-availability.zookeeper.path.root: /flink-yarn

如果 yarn的application，如果开启了高可用，所有的jobid都会变成0000000000000000000；官方的解释，application模式不允许记录多个状态，这样jobid就不好给了。

yarn的session集群，如果开启了高可用，-D应用id参数=appId，指定提交到session集群，可能会有问题。解决方式：不写 -t yarn-session

Yarn 高可用和Standalone 高可用区别

Standalone 高可用
同时启动多个JobManger，若执行任务的JobManger挂了，其他JobManager马上补上。
Yarn 高可用
JobManager只有一个，但是配置了重试次数，挂了之后再重启（重启一个新的ApplicationManager），利用了ApplicationMaster的重启机制。若在一定时间范围内重试都启动不了，那么就真的挂了。如30秒内重试3次，若重启成功，则重试次数清零。

查看flink提交任务

# 查看flink提交任务
./bin/flink list

# 查看最近取消的是哪个命令
./bin/flink list -a

参考：https://blog.51cto.com/u_15318160/3248006
https://blog.youkuaiyun.com/chanyue123/article/details/110442617
https://www.jianshu.com/p/861bc86465c9
https://www.jianshu.com/p/10f0d4ff50be
https://blog.youkuaiyun.com/qq_27474277/article/details/116663318