spark-submit 提交报错

最新推荐文章于 2023-05-19 21:01:19 发布

原创最新推荐文章于 2023-05-19 21:01:19 发布 · 1.5k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #scala #大数据

当提交的Spark应用程序代码中的Spark版本与集群版本不一致时，可能会遇到`NoSuchMethodError`。确保代码依赖的Spark版本与服务器上的Spark集群版本完全匹配，例如使用`spark-submit`和`spark2-submit`针对不同版本的Spark进行提交，以避免此类错误。

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;

解决方法

代码中的spark版本依赖必须和集群spark版本一致否则报如上错误。

我的服务器有两套不一样的spark集群版本因此命令有两个如下：

spark-submit \
--class com.picc.cn.Spark2Hdfs \
--master yarn \
--deploy-mode client \
--driver-memory 4g \
--num-executors 10 \
--executor-memory 4g \
--executor-cores 2 \
Spark2Hdfs.jar

spark2-submit \
--class com.picc.streaming.SparkStreamingToHdfs \
--master yarn \
--deploy-mode client \
--driver-memory 4g \
--num-executors 10 \
--executor-memory 4g \
--executor-cores 2 \
SparkStreamingToHdfs.jar