关于spark集群运行出现java.lang.ClassNotFoundException错误

最新推荐文章于 2022-11-22 20:59:54 发布

reedom1991

最新推荐文章于 2022-11-22 20:59:54 发布

阅读量3.6k

点赞数

CC 4.0 BY-SA版权

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/reedom1991/article/details/89206906

spark 专栏收录该内容

18 篇文章

订阅专栏

在使用IdealIC软件对Spark程序进行打包并部署到集群运行时，遇到java.lang.ClassNotFoundException错误。通过调整Artifacts设置，仅保留kuaishoucompileoutput的jar包，成功解决了wordcount类未被识别的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

各软件版本如下

spark:2.3.0

IdealIC:2019.1

利用IdealIC软件对spark程序打包好后，然后放到集群运行，可是运行命令，一直报java.lang.ClassNotFoundException: com.dt.spark.wordcount错误，对打包好的jar进行打开，com.dt.spark包里面有wordcount这个类，然后在IdealIC查找原因，在file----Project Structure----Artifcats中对jars进行设置，在对输出的jar包中除了“kuaishou” compile output，其他的jar包都删除，然后进行打包运行没有出现这个错误。

做记录，供以后参考！！

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

reedom1991

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Spark：java.lang.ClassNotFoundException: computePI$$anonfun$1

weixin_44546992的博客

12-07

614

使用IDEA远程提交jar到spark集群出错：java.lang.ClassNotFoundException: computePI$$anonfun$1 这个问题困扰了我很长时间，我大概花费了三四天的时间，不停的找问题，不停的找原因，经过不断的尝试才发现原因所在。具体的报错信息如下： 20/12/07 08:32:33 WARN TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, 172.17.0.3, executor 2): java.lan

Spark集群整合hive以及java.lang.ClassNotFoundException: org.apache.tez.dag.api.SessionNotRunning问题解决

onthe_wing的博客

08-16

1035

通过spark操作hive中的数据在集群（服务器）上整合步骤 1.如果在spark的bin目录下存在metastore_db或者spark-warehouse文件，将这两个文件删除 2.导入配置文件 1.hive/conf/hive-site.xml 2.hadoop/etc/hadoop/core-site.xml和hdfs-site.xml 将上述三个文件放入spark/conf目录下，这样就整合好了 3.问题如果遇到以下问题将spark下的conf目录中的hive-site.xml里引擎的

参与评论您还未登录，请先登录后发表或查看评论

spark程序开发中出现 java.lang.ClassNotFoundException的处理

weixin_42547668的博客

12-26

1万+

开发spark程序中出现异常总结出如下：一.通过idea开发spark程序，运行scala文件时候出现错误 Caused by: java.lang.ClassNotFoundException: xxx.WordCount$$anonfun$2 at java.net.URLClassLoader.findClass(URLClassLoader.java:382) at java.lan...

运行Spark程序，java.lang.ClassNotFoundException的解决

quitozang的博客

11-21

9468

IDEA中运行出现错误；打包成jar，submit命令提交正确执行设置：SparkConf().setJars(List(pathtojar)) 其中pathtojar：jar包的绝对路径

spark Caused by: java.lang.ClassNotFoundException: libsvm.DefaultSource

hongchenshijie的博客

06-19

900

今天学习spark-mlib时报错说找不到libsvm.DefaultSource 详情如下: Exception in thread "main" java.lang.ClassNotFoundException: Failed to find data source: libsvm. Please find packages at http://spark.apache.org/third-party-projects.html at org.apache.spark.sql.execution.da

Spark抛出异常java.lang.ClassNotFoundException: scala.Any

路越的专栏

04-20

5831

背景在写一个ETL流程，先通过SQL读取Hive数据，然后RDD进行转换（map）,再转成DataFrame。提交任务后抛出以下异常。 20/04/20 12:14:08 ERROR ApplicationMaster: User class threw exception: java.lang.ClassNotFoundException: scala.Any java.lang.ClassN...

有关java.lang.ClassNotFoundException报错的总结

默主归沙的博客

03-28

6034

在运行spark程序的时候，总是报这个错误java.lang.ClassNotFoundException，折磨了我一整天。现在我解决了这个bug。我就想总结一下遇到这个情况如何排查它。一、查看自己的运行入口 ${SPARK_HOME}/bin/spark-submit \ #spark指令 --jars /usr/local/hive/auxlib/hudi-spark-bundle_2.11-0.5.2-incubating.jar \ #加载的jar包 --conf spark...

spark on yarn报错java.lang.ClassNotFoundException: com.sun.jersey.api.client.config.Client

sinat_36059653的博客

12-08

1万+

环境： hadoop2.7.4 spark2.1.0 配置完spark-historyserver和yarn-timelineserver后，启动的时候没有报错，但是在spark用 ./spark-submit –class org.apache.spark.examples.SparkPi –master yarn –num-executors 3 –driver-memo

pyspark 集群spark java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver

热门推荐

站在风口上的猪

07-16

5万+

举例如下： <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-tomcat</artifactId> <scope>provi...

scala spark程序在集群上连接oracle，报错Exception in thread “main“ java.lang.ClassNotFoundException: oracle.jdbc

麻辣灬小笼包的博客

06-09

629

这种情况需要打全依赖包到集群上，先贴上我之前的pom.xml <build> <pluginManagement> <plugins> <!-- clean lifecycle, see https://maven.apache.

使用SparkStreaming报错java.lang.ClassNotFoundException: org.apache.spark.internal.Logging$class解决方案

大屁孩的博客

08-28

7334

在使用sparkStreaming从kafka中采集数据报java.lang.ClassNotFoundException: org.apache.spark.internal.Logging$class错误：我的pom.xml部分依赖如下：解决方案 spark的jar包版本过高，不提供org.apache.spark.internal.Logging这个类，因此，将依赖更换如下：问...

spark运行时出现错误Caused by: java.lang.ClassNotFoundException: org.apache.spark.rdd.RDD

cjlion的专栏

10-23

1万+

原因：自己在pom文件中加入 <scope>provided</scope> 此标签表示编译环境可用，运行时则不可用，主要是在打包时不将这些依赖打进来，因为服务器上有，以免包过大解决方案：本地运行时注销掉<scope>provided</scope>,reimport maven projects Exception in th...

【大数据】jar包提交spark集群报错java.lang.ClassNotFoundException

我的笔记

12-04

1444

主要原因是打JAR包方式不对，严格按照如下方法一定能行 https://blog.csdn.net/qq_36699423/article/details/92795821

idea搭建maven spark环境（解决java.lang.ClassNotFoundException异常）

tianlin0203的博客

06-11

4409

1、创建项目：打开idea，file->new->project->maven输入自己的项目名,并将main下的java文件夹改成scala。 2、在项目上新增scala支持在这里使用的是scala2.11.8（没下载scala的点击create。没有scala插件的先下载scala插件） 3、pom文件中添加spark所需要的jar包 <properties&gt...

spark遇到的erro1——java.lang.ClassNotFoundException:

zgm12的博客

02-11

809

java.lang.ClassNotFoundException: scalaBase.day7.sparkWC2 at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) ...

spark提交任务报错java.lang.ClassNotFoundException: sparkoperatemysql

05-29

这个问题可能是因为你没有正确指定 Spark 应用程序的类名，或者你的应用程序不在 Spark 的 CLASSPATH 中。你可以尝试以下步骤解决这个问题： 1. 确保你的应用程序的类名正确，并且已经编译成了可执行的 JAR 文件。 2. 确保你的应用程序的 JAR 文件已经上传到了 Spark 集群，并且可以被访问到。 3. 使用 `spark-submit` 命令提交应用程序时，确保指定了正确的类名和 JAR 文件路径。例如： ``` spark-submit --class com.example.sparkoperatemysql.MyApp /path/to/myApp.jar ``` 其中，`com.example.sparkoperatemysql.MyApp` 是你的应用程序的类名，`/path/to/myApp.jar` 是你的应用程序的 JAR 文件路径。 4. 如果你的应用程序依赖于其他的 JAR 包，你需要将这些 JAR 包也上传到 Spark 集群，并且在 `spark-submit` 命令中指定它们的路径。 ``` spark-submit --class com.example.sparkoperatemysql.MyApp --jars /path/to/dependency1.jar,/path/to/dependency2.jar /path/to/myApp.jar ``` 这些步骤应该能够解决你的问题。如果问题仍然存在，请检查你的应用程序和依赖项是否都已经正确地上传到了 Spark 集群，并且可以被访问到。