Flink作业使用yarn.provided.lib.dirs参数指定依赖

最新推荐文章于 2025-03-07 16:08:50 发布

原创最新推荐文章于 2025-03-07 16:08:50 发布 · 6.2k 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#flink #linq #大数据

大数据专栏收录该内容

51 篇文章

订阅专栏

yarn.provided.lib.dirs参数如官网所描述，它能够在提交作业时从你指定的HDFS目录中获取依赖，从而不必在每次本地提交作业时都将依赖也一同提交，我们使用下试试，首先将工程依赖包上传至HDFS目录/user/dev/flink-1.14.0-dependency，在提交时加上yarn.provided.lib.dirs参数并指定依赖包所在HDFS目录：

/opt/flink-1.14.0/bin/flink run-application \
-t yarn-application \
-c kl.Test01 \
-Dyarn.provided.lib.dirs="hdfs://klbigdata/user/dev/flink-1.14.0-dependency \
/home/ec2-user/FlinkSQLDemo/original-FlinkSQL-1.0.jar

提交报错：

The "yarn.provided.lib.dirs" has to also include the lib/, plugin/ and flink-dist jar. In other case, it cannot be used

这个错误说这个参数还要包含lib/、plugin/和flink-dist jar

我们需要做的就是将flink安装目录下的lib、plugins目录上传到HDFS，并在yarn.provided.lib.dirs参数上指定其路径，提交脚本修改后如下：

/opt/flink-1.14.0/bin/flink run-application \
-t yarn-application \
-c kl.Test01 \
-Dyarn.provided.lib.dirs="hdfs://klbigdata/user/dev/flink-1.14.0-dependency;hdfs://klbigdata/user/dev/flink-1.14.0-dependency/lib;hdfs://klbigdata/user/dev/flink-1.14.0-dependency/plugins" \
/home/ec2-user/FlinkSQLDemo/original-FlinkSQL-1.0.jar

提交正常。