SparkSQL toDF() java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/la

最新推荐文章于 2023-09-04 16:04:38 发布
原创 最新推荐文章于 2023-09-04 16:04:38 发布 · 3.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一个关于Spark在使用toDF()函数过程中遇到的版本冲突问题。由于开发环境使用的Scala版本与Spark集群中的版本不一致导致运行错误。文章详细记录了解决此问题的过程，并最终通过统一Scala版本解决了该问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

val orderDF=sc.textFile(args(1)).map(_.split(" ")).map(x=>Order(x(0),x(1),x(2).toInt,x(3).toInt,x(4))).toDF()

当使用Spark-submit时出现错误：java.lang.NoSuchMethodError  但在spark-shell可以使用toDF()函数

原因：编译环境使用的是scala2.11  而spark集群中使用的是scala2.10 所以出现上面的问题

卸载scala2.11 重新安装scala2.10  build artifact 发现可以了。。。。。

Spark 1.4 RDD to DF fails with toDF()


点击打开链接

Spark读取Hbase报错NoSuchMethodError: org.apache.hadoop.conf.Configuration.getPassword(Ljava/lang/String;
九师兄
06-20 4992
NoSuchMethodError一般报错都是包冲突导致的。 java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.getPassword(Ljava/lang/String;)[C at org.apache.spark.SSLOptions$$anonfun$8.apply(SSLOptions.scala:18...
IDEA spark 中scala的编译版本问题解决NoSuchMethodError （jvm ）
热门推荐
大模型与Agent智能体
05-04 2万+
Spark IDEA集成环境开发时，pom文件新安装了一些jar包，没注意到其中scala的版本被替换了，运行一个测试程序提示这个：Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayO
SparkSQL之RDD转换DataFrame
11号车厢
08-06 599
文章目录1 、SparkSQL读取Json文件2、RDD转换成DataFrame2.1 用toDF()方式2.2 把原生RDD转换成RDD[Row]，再和定义好的StructType匹配 1 、SparkSQL读取Json文件 先随便造两份Json格式数据。 [hadoop@vm01 data]$ vi stu1.json {"id":"1","name":"zhangsan","phone":...
SparkSql学习之：toDF方法的由来（源码）
MyNameIsWangYi的博客
10-09 4169
源码 spark.implicits._ 中有隐式转换换： rdd[T] --> DatasetHolder， 而DatasetHolder中有toDF方法 所以，就可以在rdd[T].toDF toDF中调用的有是 sqlContext.createDataset(rdd[T])(encoder) 而SqlImplicits中有一大堆的encoder！(基本类型,seq,se...
Spark 报错scala.reflect.api.JavaUniverse.runtimeMirror
Nougats的博客
09-03 4659
spark提交任务报错User class threw exception: java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/lang/ClassLoader;)Lscala/reflect/api/JavaUniverse$JavaMirror;任务中引入的spark对应的Scala版本
Spark指南——第三章：SparkSQL编程—— DataFrame（2）
lightupworld的博客
09-04 541
SparkSQL编程（1）一、SparkSession二、DataFrame1.创建DataFrame①通过数据源创建DataFrame②从RDD转换创建DataFrame1.方式一：Case Class方式2.方式二：createDataFrame方式③从Hive Table查询创建2.使用SQL风格编程① 对DataFrame创建一个临时表② 对创建的people表进行SQL查询3.使用DSL(Domain Specific Language)风格编程① 查看Schema② 指定列查询③ 限制条件查询④
《SparkSQL 1》--SparkSQL简介、RDD与DataFrame、搭建SparkSQL环境、创建DF、DataFrame常用操作、DataSet、SparkSQL的执行计划和执行流程
yk_3215123的博客
08-11 617
引言： 给定一个包含用户基本信息（如姓名、年龄等）的数据集，请统计相同姓名的用户的平均年龄? SparkRDD实现: val data = sc.textFile("/data/input.txt").split("\t") data.map(x=>(x(0),(x(1).toInt,1))) .reduceByK...
com.fasterxml.jackson.module.scala.deser.BigDecimalDeserializer$.handledType()Ljava/lang/Class解决
zhaoguowei的博客
11-21 1446
在调试Spark程序时 报错信息如下： 19/11/21 11:27:13 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@1c65121{/metrics/json,null,AVAILABLE,@Spark} Exception in thread "main" java.lang.NoSuchMethodE...
java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at com.huawei.bigdata.job.LauncherAM.run(LauncherAM.java:126) at com.huawei.bigdata.job.LauncherAM$1.run(LauncherAM.java:105) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1761) at com.huawei.bigdata.job.LauncherAM.main(LauncherAM.java:101) Caused by: java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)[Ljava/lang/Object; at com.nari.LeoUtils$.extractArgs(LeoUtils.scala:564) at com.nari.LeoUtils$.initParams(LeoUtils.scala:505) at com.nari.utils.FlinkEvnBuilder$.buildStreamingEnv(FlinkEvnBuilder.scala:30) at com.nari.bmsoft.stream.hn.task.BusbarSimulateGearHnTask$.main(BusbarSimulateGearHnTask.scala:23) at com.nari.bmsoft.stream.hn.task.BusbarSimulateGearHnTask.main(BusbarSimulateGearHnTask.scala) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:349) at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:219) at org.apache.flink.client.ClientUtils.executeProgram(ClientUtils.java:114) at org.apache.flink.client.cli.CliFrontend.executeProgram(CliFrontend.java:842) at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:246) at org.apache.flink.client.cli.CliFrontend.parseAndRun(CliFrontend.java:1084) at com.huawei.bigdata.job.action.FlinkClient.lambda$flinkClientSubmit$0(FlinkClient.java:64) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1761) at org.apache.flink.runtime.security.contexts.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41) at com.huawei.bigdata.job.action.FlinkClient.flinkClientSubmit(FlinkClient.java:64) at com.huawei.bigdata.job.action.FlinkMain.runJob(FlinkMain.java:200) at com.huawei.bigdata.job.action.LauncherMain.submit(LauncherMain.java:93) at com.huawei.bigdata.job.action.LauncherMain.run(LauncherMain.java:49) at com.huawei.bigdata.job.action.FlinkMain.main(FlinkMain.java:108) ... 10 more
最新发布
06-24
我们正在处理一个关于Java异常的问题，涉及`java.lang.reflect.InvocationTargetException`和`java.lang.NoSuchMethodError`，特别是在Flink和Scala环境中。我们将参考提供的引用信息，并结合常见原因和解决方案进行...
scala反射
u013571243的专栏
11-02 4598
1. 其实scala的非FP部分,看官方DOC是一个非常好的一个选择,FP部分推荐还是看HASHELL,毕竟我看过的书籍中,FP部分基本是HASHELL的"翻译",HASHELL是个非常好的语言,甚至其作者是推荐作为大学的课本,你不必会用HASHELL编写程序,这个是很少见的,但是要有HASHELL语言的思考逻辑去学习一门FP语言,记得我接触HASHELL是大二的时候了,它对我的影响却是很大.
spark报错：scala.reflect.api.JavaUniverse.runtimeMirror
qq_39518915的博客
08-23 880
idea上的scala版本和集群中的版本不一致，修改成同样的版本即可。
spark rdd无法toDF()解决
top8488.top大数据
01-12 5263
首先 toDF需要导入的包 //导入隐饰操作，否则RDD无法调用toDF方法 import sparkSession.implicits._ //（你的SparkSession类） 然后就可以todf了 如果还不行，检查你的RDD 类型对不对，是不是 RDD[样例类] 或者RDD[structType] ...
toDF用法（隐式转化)
weixin_39031707的博客
06-05 8551
rdd的api并没有toDF（）方法，如果要使用必须的隐式转化 代码如下（Spark2.x） val sparkContext=ss.sqlContext import sparkContext.implicits._ val sqlContext = //create sqlContext import sqlContext.implicits._val df = RDD.toDF() val ...
【错误处理】java.lang.NoSuchMethodError: scala.Predef$.refArrayOps
Jweilai
03-13 2658
错误详情 错误原因 使用Spark时需要使用对应版本的Scala和Hadoop 在使用maven查询依赖的时候也能看到： 解决方法 可在maven查询依赖中，查找Spark对应版本的Scala，重新下载即可。 ...
Spark（九） -- SparkSQL API编程
weixin_30687811的博客
05-24 175
本文测试的Spark版本是1.3.1 Text文本文件测试 一个简单的person.txt文件内容为： JChubby,13 Looky,14 LL,15 分别是Name和Age 在Idea中新建Object，原始代码如下： object TextFile{ def main(args:Array[String]){ } } SparkSQL...
Exception in thread "main" java.lang.NoSuchMethodError
我的博客
12-07 999
https://blog.csdn.net/weipanp/article/details/45098669 转自 报错： Exception in thread "main" java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/lang/ClassLoader;)Lscala/refl...
大数据培训Spark SQL知识点与实战分析
weixin_45695430的博客
04-28 1061
Spark SQL概述 1、什么是Spark SQL Spark SQL是Spark用于结构化数据(structured data)处理的Spark模块。与基本的Spark RDD API不同，Spark SQL的抽象数据类型为Spark提供了关于数据结构和正在执行的计算的更多信息。 在内部，Spark SQL使用这些额外的信息去做一些额外的优化，有多种方式与Spark SQL进行交互，比如: SQL和DatasetAPI。 当计算结果的时候，使用的是相同的执行引擎，不依赖你正在使用哪种API或
Spark——一文理解SparkSQL的DataFrame概念以及操作
xdx_dili的博客
09-04 3108
Spark——一文理解SparkSQL的DataFrame概念以及操作
Spark创建DataFrame的三种方法
qq_40078490的博客
08-21 5011
Spark创建DataFrame的三种方法
java.lang.NoSuchMethodError: Ljava/lang/Integer;
06-14
### Java 中 `java.lang.NoSuchMethodError` 错误的原因和解决方案 #### 错误原因分析 `java.lang.NoSuchMethodError` 是运行时异常，通常发生在调用方法时，JVM 无法找到指定的方法。这种错误可能是由于以下原因之一引起的： 1. **方法签名不匹配**：如果程序中调用了某个方法，但实际编译或运行环境中该方法不存在，或者其参数类型、返回值类型与预期不符，则会抛出此异常[^3]。 2. **类文件版本不一致**：当项目中使用的类文件版本在编译时和运行时不一致时，可能会导致此类问题。例如，编译时依赖的类包含某个方法，但在运行时加载的类中该方法已被删除或修改[^4]。 3. **动态代理或反射调用失败**：通过反射机制调用方法时，如果目标方法不存在或不可访问，也会触发此异常[^1]。 #### 特定于 `Integer` 的情况 对于 `java.lang.NoSuchMethodError: java.lang.Integer.setUpdateTime(java.time.LocalDateTime)` 这种特定场景，可能的原因包括： - **API 不存在**：`java.lang.Integer` 类本身并不提供 `setUpdateTime` 方法，因此尝试调用该方法会导致错误。这通常是由于代码逻辑错误或对 API 理解有误造成的[^3]。 - **第三方库冲突**：如果项目中引入了多个版本的库（例如某些框架扩展了 `Integer`），可能导致运行时加载的类与预期不符。需要检查是否有重复定义或覆盖的情况[^2]。 #### 解决方案 以下是解决 `java.lang.NoSuchMethodError` 的常见方法： 1. **检查方法签名** - 确保调用的方法在目标类中确实存在，并且其参数类型和返回值类型与调用代码一致。可以通过查看官方文档或源码来验证方法签名[^1]。 2. **确保类文件一致性** - 检查项目的依赖库版本是否统一。使用工具如 Maven 或 Gradle 的 `dependency:tree` 命令，找出可能导致冲突的依赖项并排除多余版本[^4]。 3. **重新编译相关代码** - 如果最近对类或方法进行了修改，确保所有受影响的类文件都已重新编译。特别是当方法签名发生变化时，必须保证调用方和被调用方的类文件同步更新[^4]。 4. **清理缓存** - 在某些情况下，旧的类文件可能仍然存在于运行环境中的缓存目录中。建议清理构建工具的缓存（如 Maven 的本地仓库）以及应用服务器的临时文件夹[^2]。 5. **验证运行时环境** - 确认运行时环境（如 JVM 版本、容器配置等）与开发环境一致。不同版本的 JDK 或框架可能导致方法可用性差异。 ```java // 示例：检查是否存在方法签名问题 try { Method method = Integer.class.getMethod("setUpdateTime", LocalDateTime.class); System.out.println("Method exists: " + method.getName()); } catch (NoSuchMethodException e) { System.err.println("Method does not exist: " + e.getMessage()); } ``` ### 注意事项 - 对于 `Integer` 类，应避免尝试调用非标准方法，因为该类是 Java 标准库的一部分，其行为由官方严格定义。 - 如果使用了自定义扩展或第三方库，请明确区分标准 API 和扩展功能，以避免混淆。 ####
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值