Spark java.lang.NoSuchMethodError: scala.Predef$.refArrayOps

Spark与Scala版本适配
最新推荐文章于 2025-07-28 19:09:37 发布
最新推荐文章于 2025-07-28 19:09:37 发布
阅读量2.4k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 随笔
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cwg_1992/article/details/77482377
本文介绍了Spark运行时对Scala版本的要求，并提供了遇到版本不匹配问题时的解决办法：下载对应的Scala版本并重新编译jar包。


1.问题



2. spark运行的scala版本是有限制



提示 with scala 2.10 support


下载对应版本的scala，然后重新编译jar包


scala.Predef$.refArrayOps([Ljava/lang/Object；)Lscala/collection/mutable/ArrayOps；
11-13 4571
这个错误就是版本不匹配不正确 spark不匹配scala版本的原因 版本修改前的错误 版本修改后解决，红色是因为运行在windows环境下面的原因
IDEA spark 中scala的编译版本问题解决NoSuchMethodError （jvm ）
热门推荐
大模型与Agent智能体
05-04 2万+
Spark IDEA集成环境开发时，pom文件新安装了一些jar包，没注意到其中scala的版本被替换了，运行一个测试程序提示这个：Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayO
spark启动报错 java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object；)
dymkkj的专栏
03-29 927
原因：细微版本差别时，如果scala版本跟spark自带的或引入的scala-lang版本不一致，会报上述错误 解决： 检查scala-sdk与scala-lang的版本是否同属于同一个小版本，若否，则修改为一致即可，以下方式根据自身情况二选一。 ...
运行spark demo时出现java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)
kiikgu的专栏
08-31 1万+
原因: maven引入的spark相关包版本是2.10，而scala－sdk版本是2.12 解决：两者统一，都使用2.11 更换工程scala-sdk版本：右键工程名称 -> Open Model Settings
Spark 入门：从环境搭建到本地开发，小白也能看懂的超详细指南
最新发布
HENANwuyanzu66的博客
07-28 1254
实现离线数据批处理：类似于MapReduce、Pandas，写代码做处理：代码类的离线数据处理 。实现交互式即时数据查询：类似于Hive、Presto、Impala，使 用SQL做即席查询分析：SQL类的离线数据处理 。实现实时数据处理：类似于Storm、Flink实现分布式的实时计算：代码类实时计算或者SQL类的实时计算 。实现机器学习的开发：代替传统一些机器学习工具
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object...
12-20 634
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps; at org.apache.spark.util.Utils$.getCallSite(Utils.scala:1...
运行Spark时报错：java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object)
David_house的博客
06-14 2631
运行Spark报错： java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;) 我这里报错的原因是因为我是使用maven创建项目并添加scala框架支持来运行spark程序，我之前使用的scala版本为2.12的，我以为我已经改成了2.11的，结果路径中引入的还是2.12的，而maven中（pom.xml）引入的scala版本是2.11的，总之一句话，使用的scala版本和maven引入的版本不一致！把它们改一致
scala运行异常Exception in thread “main“ java.lang.NoSuchMethodError: scala.Predef$
dkdudus的博客
04-19 1372
使用intelli idea +scala+spark，运行程序代码如下： package big.data.analyse.mllib import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.mllib.fpm.FPGrowth object FP { def main(args: Array[String]) { val conf = new SparkConf().setMaster("local"
NoSuchMethodError:
Mr Huo
01-11 1408
报错信息如下 Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.$conforms()Lscala/Predef$$less$colon$less; at org.apache.spark.util.Utils$.getSystemProperties(Utils.scala:1722) at org.a...
Java或者Scala运行环境版本不一致报错纠正（bug调优）
wyqwilliam的博客
07-19 1664
运行Java时报错： Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;     at org.apache.spark.util.Utils$.getCallSite(Ut...
IDEA上Spark——Java、Scala的本地测试版与集群运行版
王某的博客
11-23 8837
Java本地测试 先放出代码中各类注释 代码以及源码地址 遇见的问题 打包jar到集群测试 Scala本地测试 源码 遇见的问题 Scala打包到集群测试 源码以及地址 遇见的问题 参考资源Java本地测试2017/11/131.先放出代码中各类注释（由于初次学习，为方便以后复习或查阅，注释较多。为避免代码太“冗余”故将部分注释分出来。） 注释i )、 每个Spark应用程序都由一个驱动
Spark写入数据到Hbase（下）解决scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps
pycrossover的博客
05-12 2607
环境配置： Scala:2.11.12（看上篇，原本是2.12.1） Spark:2.4.4 Hbase:2.2.3 前言： 上一篇没报错，后来改动了一下，就报错了，这个错是版本的问题，而且让我十分疑惑，所以有了下篇，好像也没啥人看，随便写写吧就???? 代码： 先上代码 import java.util.Date import org.apache.hadoop.hbase.client.{Put, Result} import org.apache.hadoop.hbase.io.Immutable
java.lang.NoSuchMethodError:scala.Predef$.refArrayOps
qq_43341418的博客
07-10 2110
scala新旧版本冲突导致找不到方法
spark程序报错Exception in thread “main“ java.lang.NoSuchMethodError: scala.Predef$.refArrayOps
eyexin2018的博客
07-12 1004
Exception in thread “main” java.lang.NoSuchMethodError: scala.Predef$.refArrayOps
运行spark出现java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)
qq_36470898的博客
02-10 2407
出现这个问题原因是原因Maven导入的spark依赖的是Scala版本和本地版本不一致。 这里我导入的Maven导入的spark依赖的是Scala版本是2.11而本地是2.12 <dependencies> <dependency> <groupId>org.apache.spark</groupId> ...
java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object；)
lck_csdn的博客
06-02 954
Flink执行问题之--版本
scala的java.lang.NoSuchMethodError:scala.Predef$.refArrayOps([Ljava/lang/Object;错误
jacobwe的博客
06-29 1938
运行spark demo时出现java.lang.NoSuchMethodError: 在scala中，pom文件的jar文件为2.11.7，不需要在全局变量去加载jar包， 打开project的setting ，删除不需要用的setting即可 ...
java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object
berkely心路的博客
03-09 5265
spark程序报错： java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;) 原因为打包时本地所用的scala版本是2.12 ，而集群中的scala版本是2.11， 将本地的scala版本改成2.11后在打包运行， 运行成功 ...
Flink:scala包版本问题:scala.Predef$.refArrayOps([Ljava/lang/Object；)Lscala/collection
maoyuanming0806的博客
08-01 3073
这几天深入研究flink，并把之前的东西进行复习下，留点笔记 这问题还真给我搞脑子，本来是新电脑下载的最新的IDEA，然后导入项目，楞许久跑不起来 简短点说，原因：scala版本冲突 检查： Flink或Spark引入的jar对应的scala是不是和你环境的scala一致，别一个2.11，一个2.13. Pom文件检查jar的scala版本； 项目检查Project Structure>Global Libraries 再Project Structure>Modules&g.
java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V
05-01
好的，我现在需要解决用户遇到的Java错误：java.lang.NoSuchMethodError: scala.Product.$init$。这个问题看起来和Scala与Spark的版本兼容性有关。用户提到他们参考了两个引用，其中涉及SparkConf的初始化和Scala ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值