Spark：java.lang.ClassNotFoundException: computePI$$anonfun$1

想拥有一片海

于 2020-12-07 09:36:00 发布

阅读量602

点赞数

分类专栏： spark 文章标签： spark

本文链接：https://blog.youkuaiyun.com/weixin_44546992/article/details/110790784

版权

本文记录了在使用IDEA远程提交Spark作业时遇到的`java.lang.ClassNotFoundException: computePI$$anonfun$1`错误的解决过程。通过排查Java包、检查jar内容和尝试使用spark-submit命令，确定问题出在jar打包方式上。解决方案包括检查setjars配置和重新打包jar。重新打包后问题得到解决，证明之前可能是jar打包过程中出现了问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用IDEA远程提交jar到spark集群出错：java.lang.ClassNotFoundException: computePI$$anonfun$1

这个问题困扰了我很长时间，我大概花费了三四天的时间，不停的找问题，不停的找原因，经过不断的尝试才发现原因所在。

具体的报错信息如下：
在这里插入图片描述

20/12/07 08:32:33 WARN TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, 172.17.0.3, executor 2): java.lang.ClassNotFoundException: computePI$$anonfun$1
	at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
	at java.lang.Class.forName0(Native Method)
	at java.lang.Class.forName(Class.java:348)
	at org.apache.spark.serializer.JavaDeserializationStream$$anon$1.resolveClass(JavaSerializer.scala

最低0.47元/天解锁文章