spark-任务提交多个jar包问题（Oozie调度）

最新推荐文章于 2023-05-21 13:51:31 发布

原创最新推荐文章于 2023-05-21 13:51:31 发布 · 2.7k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#spark

大数据专栏收录该内容

28 篇文章

订阅专栏

本文详细介绍了如何使用Spark Submit命令来提交Spark应用程序。重点讲解了如何正确指定主类、部署模式、资源分配以及JAR包依赖，确保任务能够顺利运行。文章强调了依赖JAR和业务JAR在提交命令中的正确位置，避免因配置错误导致的类找不到问题。

spark-submit \
--class  com.xxx.bigdata.handler.xxx \ -- 运行的主类
--master yarn \
--deploy-mode client \
--driver-memory 1g \
--executor-memory 2g \
--executor-cores 2 \
--jars hdfs:///user/admin/xx/basejar/dw-xx-1.0.0-SNAPSHOT.jar,hdfs:///user/admin/xx/basejar/dw-xx-1.0.0-SNAPSHOT.jar,hdfs:///user/admin/xx/basejar/base-1.0-SNAPSHOT-shaded.jar,hdfs:///user/admin/xx/basejar/xx-sdk-1.0.0-SNAPSHOT.jar \  -- 依赖的jar包必须在一行
hdfs:///user/admin/xx/sourcejar/dw-xx-sdk-1.0.0-SNAPSHOT.jar -- 运行的主类所在的jar包

提交任务的时候，--jars指定jar包的时候，依赖jar和业务jar只能位于两行，依赖jar在第一行，业务jar在第二行。

否则会报找不到类的问题