spark-submit 提交任务报错 java.lang.ClassNotFoundException: Demo02

spark报错:java.lang.ClassNotFoundException: org.apache.parquet.Log spark启动报错:java.lang.ClassNotFoundException: org.apache.parquet.Log 错误的全部描述如下: java.util.ServiceConfigurationError: org.apache.spark.sql.sources.DataSourceRegister: Provider org.apache.spark.sql.execut... 阅读详情

案例:把sparksql的程序提交到spark的单机模式下执行


package demo01

import org.apache.spark.SparkContext
import org.apache.spark.sql.SQLContext
import org.apache.spark.SparkConf

object Demo02 {
    def main(args: Array[String]): Unit = {
      //创建配置
                val conf = new SparkConf()
                conf.setAppName("Demo02")      //创建应用程序first
                conf.setMaster("local")
//                conf.set("spark.shuffle.manager","hash")

                //基于配置生成sc
                val sc = new SparkContext(conf)

                //创建出sqlContext
                val sqlContext = new SQLContext(sc)

                import sqlContext.implicits._
                val rdd = sc.makeRDD(List((1,"zhang"),(2,"li"),(3,"wang")))
                val df = rdd.toDF("id","name")

//                df.registerTempTable("tabx");
                df.createTempView("tabx")

                val df2 = sqlContext.sql("select * from tabx order by name")

                val rdd2 = df2.toJavaRDD.repartition(1)
                rdd2.saveAsTextFile("file:///home/hadoop/df.txt");
//                rdd2.saveAsTextFile("d:/df")
                
                sc.stop()
                }
}


打成jar--> sql.jar  

提交集群运行  ./spark-submit --class Demo02 ./sql.jar 

java.lang.ClassNotFoundException: Demo02
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        at java.lang.Class.forName0(Native Method)
        at java.lang.Class.forName(Class.java:348)
        at org.apache.spark.util.Utils$.classForName(Utils.scala:230)
        at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:732)
        at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180)
        at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:119)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

解决办法:添加类的全路径名称  ./spark-submit --class demo01.Demo02 ./sql.jar

有关java.lang.ClassNotFoundException报错的总结 在运行spark程序的时候,总是报这个错误java.lang.ClassNotFoundException,折磨了我一整天。 现在我解决了这个bug。我就想总结一下遇到这个情况如何排查它。 一、查看自己的运行入口 ${SPARK_HOME}/bin/spark-submit \ #spark指令 --jars /usr/local/hive/auxlib/hudi-spark-bundle_2.11-0.5.2-incubating.jar \ #加载的jar包 --conf spark... 阅读详情

相关推荐

Spark 使用过程中遇见的问题

参考:https://blog.csdn.net/SCGH_Fx/article/details/72529132 ---------------------------------------------------------------------------------------------------------------------------------------------...

weixin_42130167的博客 3450

spark程序开发中出现 java.lang.ClassNotFoundException的处理

开发spark程序中出现异常总结出如下: 一.通过idea开发spark程序,运行scala文件时候出现错误 Caused by: java.lang.ClassNotFoundException: xxx.WordCount$$anonfun$2 at java.net.URLClassLoader.findClass(URLClassLoader.java:382) at java.lan...

weixin_42547668的博客 1万+

Spark:java.lang.ClassNotFoundException: computePI$$anonfun$1

使用IDEA远程提交jar到spark集群出错:java.lang.ClassNotFoundException: computePI$$anonfun$1 这个问题困扰了我很长时间,我大概花费了三四天的时间,不停的找问题,不停的找原因,经过不断的尝试才发现原因所在。 具体的报错信息如下: 20/12/07 08:32:33 WARN TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, 172.17.0.3, executor 2): java.lan

weixin_44546992的博客 674

Spark-submit 时出现java.lang.ClassNotFoundException

File=>Project Structure=>Modules 将该类所在的包设置为Sources

a1223031949的专栏 6903

java.lang.ClassNotFoundException:zeppelin.interpreter.remote.RemoteInterpreterServer

Zeppelin启动Spark报错: -Uncaught exception: java.lang.ClassNotFoundException:org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer 报错原因: 缺少zeppelin自身jar包 解决方法: 添加缺少的jar包到启动环境中 在解决过程中报错缺少啥就添加啥,一步步解决遇到的问题 下面是添加了zeppelin自身的jar包和spark的jar包 export SPAR

zhengzaifeidelushang的博客 996

spark2-submit在CDH环境下ClassNotFoundException:org.slf4j.logger

1.视界 2. ![在这里插入图片描述](https://img-blog.csdnimg.cn/20191009 2. 背景 从客户的机器上拷贝了一个Spark客户端,结果直接执行spark2-submit命令报错,报错如下图 3.解决 我们,没做任何操作,客户在集群上装了一个spark-gateway服务就好了,现在还不知道spark-gateway服务有什么用 ...

九师兄 1332

sparksubmit提交任务 java,spark-submit 提交任务报错 java.lang.ClassNotFoundException: Demo02...

案例:把sparksql的程序提交到spark的单机模式下执行package demo01import org.apache.spark.SparkContextimport org.apache.spark.sql.SQLContextimport org.apache.spark.SparkConfobject Demo02 {def main(args: Array[String]): Un...

weixin_42495504的博客 790

libfacedetection 框架阅读及扩展经验

libfacedetection 框架源码解析与扩展心得1. libfacedetection 框架简介2. 源码解析2.1 facedetectcnn.h2.2 facedetectcnn.cpp2.3 facedetectcnn-model.cpp3. 其他层的扩展--depthwise convolution 前段时间因为工作需要,对libfacedetection框架做了些扩展,在阅读源...

weixin_42616332的博客 1500

spark-submit 提交任务报错

在idea中用java写spark应用,在服务器上spark-submit提交任务一直报错,在两个不同的spark集群上分别报错java.lang.ClassNotFoundException 和java.lang.SecurityException: Invalid signature file digest for Manifest main attributes 检查了依赖包没有冲突,入口

hor_i_zon的博客 1904

RK3568 开发实战:手动构建 Linux 4.19 内核镜像与设备树优化

本文详细介绍了为RK3568开发板手动编译Linux 4.19内核的完整实战流程。从环境搭建、源码获取、内核配置,到设备树深度定制与优化,再到镜像打包与烧写,旨在帮助开发者脱离官方SDK依赖,实现对嵌入式Linux系统的完全掌控,提升硬件适配与性能优化能力。

weixin_29175469的博客 269

abb机器人指令手册_ABB机器人配置圆形输送链跟踪

更多内容请点击上方ABB机器人实战技巧关注也可点击公众号下方往期经典浏览更多内容转载请先后台留言,大家一起支持原创,推动机器人使用和发展本公众号对各类ABB机器人应用,仿真,毕业设计提供技术支持,详细后台留言本公众号诚挚希望与各机器人培训机构,机器人使用单元合作,提供技术支持,详细后台留言1. 通常的机器人输送链跟踪,均为直线输送链跟踪,例如下图2. 有些情况,输送链为圆形,例如...

weixin_39849894的博客 2044

Spark报错NoSuchMethodError或ClassNotFoundException

Spark-submit提交的任务抛出了java.lang.NoSuchMethodError或者ClassNotFoundException问题分析方法

胡渣大叔的技术专栏 1251

Field II 超声相控阵仿真系列:多角度平面波相干合成提升成像质量

本文深入探讨了Field II超声相控阵仿真中,如何通过多角度平面波相干合成技术提升成像质量。针对单次平面波成像对比度与分辨率不足的问题,详细解析了从探头建模、多角度发射延时计算到回波数据相干合成的完整流程,并提供了关键参数调优建议,以实现图像质量与计算效率的平衡。

weixin_29284885的博客 257

spark遇到的erro1——java.lang.ClassNotFoundException:

java.lang.ClassNotFoundException: scalaBase.day7.sparkWC2 at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) ...

zgm12的博客 856

【C语言】初识C语言(上篇)

初识C语言第一部分

StackFrame 4006

华为OD机试 - 商品推荐多属性排序 - 数组(Python/JS/C/C++ 双机位A卷 100分)

本专栏收录于《华为OD机试真题(Python/JS/C/C++)》。刷的越多,抽中的概率越大,私信哪吒,备注华为OD,加入华为OD刷题交流群,每一题都有详细的答题思路、详细的代码注释、3个测试用例、为什么这道题采用XX算法、XX算法的适用场景,发现新题目,随时更新。双十一来临,小王准备买某个购物平台买坚果。在输入坚果时,页面默认按照综合推荐列表。小王想知道这个综合排序时如何完成的,于是便开始思考算法题。经过一番操作后,完成它的多个关键词排序算法。希望你给小王提供一份正确的排序结果,验证其实现算法结果的准确性

学Java,找哪吒 622

Spark任务提交:Master URL配置全解析与实战指南

在分布式计算框架中,资源管理与任务调度是核心概念,其原理决定了应用程序如何在集群中高效执行。Spark作为主流的大数据处理引擎,通过Cluster Manager(集群管理器)来协调资源,而Master URL正是连接Driver与集群管理器的关键配置。理解其通信协议与格式,对于保障任务稳定运行、避免连接超时等常见错误至关重要。从本地开发测试到企业级生产环境,不同的Master URL(如local、spark://、yarn、k8s://)对应着不同的技术价值与应用场景,直接影响着资源利用率与部署灵活性。

weixin_30718391的博客 365

【STK】手把手教你利用STK进行导弹和反导仿真04 - STK/MMT模块03 导弹飞行工具应用案例

飞行设置的工具栏就在附加窗口的中间,首先点击左边的General,修改这个项目的名字。然后在下拉的System中选择导弹的类型,这里我们选择远程。(4)输出数据文件到STK,任务窗口里选择Export Manager项,飞行数据输出到STK。项目可以命名为Test;(1)首先建立新项目,点击Flight菜单中的New Flight选项,见下图。首先看世界地图中间的红圈,是一个导弹形状的图标,这个图标表示的是导弹的发射点。选择下面的Export Manager,依次勾选红框的选项。我们拖动这个导弹的图标,

weixin_44184852的博客 1630

Spark集群中提交jar包运行程序报错:java.lang.NoClassDefFoundError XXXXXXX

问题描述 在本地IDEA中写好Spark程序,打成jar包,使用spark-submit命令提交到Spark集群中运行,结果报错:java.lang.NoClassDefFoundError XXXX。 问题原因 我在网上看了一下,一般导致这个问题有两个原因: Spark依赖的Scala版本和安装的Scala版本不一致(其他软件依赖的Scala版本不一致也会导致整个错误) 编写的Spark程序所...

集腋成裘,聚沙成塔 1367

基于matlab不变矩的数字验证码识别系统

随着互联网技术的快速发展和应用,网络给人们提供了丰富的资源和极大的便利,但随之而来的是互联网系统的安全性问题,而验证码正是加强 Web 系统安全性的产物。全自动区分计算机和人类的图灵测试(Completely Automated Public Turing test to tell Computers and Humans Apart,CAPTCHA)也是验证码的一个应用程序,可以区分用户是人类还是计算机智能单击对象。

在职AI算法工程师,擅长计算机视觉,YOLO目标检测、分割等,擅长web、pyqt界面可视化,好内容持续更新中,来这里跟大家一起学习,共同进步 917

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

wordcount程序报错java.lang.ClassNotFoundException: com.huijie.bigdata.spark.WorldCount

idea项目本地运行执行命令 [root@WSWS1 spark-2.4.5-bin-hadoop2.7]# bin/spark-submit \ > --class com.huijie.bigdata.spark.WorldCount \ > WordCount-jar-with-dependencies.jar java.lang.ClassNotFoundException...

weixin_43460989的博客 448

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

spark-submit提交jar包到集群找不到主类

报错:java.lang.ClassNotFoundException: Main 解决: 删除与spark集群上已有环境的相关jar包

quitozang的博客 1万+

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

spark 提交任务error:java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/client/HBaseAdmin

1.spark提交任务 bin/spark-submit --master local[2] \ --class _0924MoocProject.ImoocStatStreamingApp_product \ --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.1.0 \ /opt/datas/project/scalaP...

小蚯蚓的博客 5389

spark-submit提交Python工程到Yarn报错:java.lang.ClassNotFoundException: com.mongodb.client.model.Collation

查看对应Yarn任务日志报错如图。 将bson-3.8.1.jar,mongo-java-driver-3.11.0.jar,mongo-spark-connector_2.11-2.3.2.jar,mongodb-driver-core-3.8.1.jar这几个jar包放到每个节点的hadoop目录下的lib中,问题解决 ...

瘦熊的博客 1384

spark-submit 报 NoClassDefFoundError 解决

报错信息 在使用 spark-submit 提交 scala App 的时候,报出了一下异常,而 代码就简单的调用了一下 map() 方法: Exception in thread "main" java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/java8/JFunction1$mcII$...

qq_31024823的博客 1938

java.lang.ClassNotFoundException: org.apache.spark.streaming.kafka.KafkaRDDP

单机运行不报错,集群模式报错: 因为本地单机配置了spark/conf/spark-env.sh export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath):/usr/local/spark/examples/jars/*:/usr/local/spark/jars/kafka/*:/usr/local/kafka...

zhenzi_PeppaPig的博客 2660
上一篇: spark的RDD的详解。。。。
下一篇: Sparksql操作的案例应用。。。。
Bonyin
博客等级 码龄10年 166粉丝 137原创
评论 8
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值