spark-Shell 启动报错的坑

最新推荐文章于 2022-10-31 20:39:50 发布
最新推荐文章于 2022-10-31 20:39:50 发布
阅读量2.9k 收藏 1
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 大数据 编程 python基础 hadoop spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41018467/article/details/89308450
部署Spark2.4.1时，启动spark-shell出现NoSuchMethodError错误。此错误可能源于Spark版本bug，解决方案为回退至Spark2.3.3版本，确保系统稳定运行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

部署spark版本2.4.1（包为spark-2.4.1-bin-without-hadoop.tgz）时，启动spark-shell报错

错误信息是：Exception in thread "main" java.lang.NoSuchMethodError: jline.console.completer.CandidateListCompletionHandler.setPrintSpaceAfterFullCompletion(Z)V，查了一下午，发现可能是spark2.4.1的bug

详细看：

http://mail-archives.apache.org/mod_mbox/spark-issues/201810.mbox/%3CJIRA.13192953.1539979697000.165392.1540166400377@Atlassian.JIRA%3E

 

解决办法：换到spark2.3.3版本，启动正常

 

 

 

spark-shell启动spark报错
zhang__rong的博客
11-05 1967
spark-shell启动spark报错 前言 　　离线安装好CDH、Coudera Manager之后，通过Coudera Manager安装所有自带的应用，包括hdfs、hive、yarn、spark、hbase等应用，过程很是波折，此处就不抱怨了，直接进入主题。 描述 　　在安装有spark的节点上，通过spark-shell启动spark，满怀期待的启动spark，but，来了个晴...
记部署pyspark，运行spark-shell报错：无法指定路径
weixin_50754408的博客
01-18 1073
安装Scala很简单，把所有的下一步点完就可以在cmd里面运行scala了，也就是自动部署好了环境，但由于 “运行spark-shell报错：无法指定路径” 后续在找解决方法时也对相关的环境变量做了修改。但是这个文章中写道：“环境变量中的JAVA_HOME要带上bin目录”，这和我上面的第三种尝试解决方法冲突了，我便没有按照它的方法来，只是将Java重新安装到了一个不带空格路径的文件夹下。系统：win10_vmware虚拟环境部署。
spark-shell启动报错--无法连接master
weixin_43079984的博客
02-24 2012
①spark standalone模式无法启动，连接master失败，但是集群用jps查看时，master明明已经启动。 ②spark-shell on yarn启动时，无法创建sc。 原因：通过hadoop104:8080查看master节点时，master节点的状态为standby，说明集群中目前没有master提供服务。 ...
spark-shell启动报错解决办法
hsg77的专栏
01-03 5063
spark-shell启动报错解决办法: scala版本不兼容问题 这是因为加入了项目依赖库到/usr/cwgis/app/spark/jars/lib/中 删除相关的scala开头的jar文件即可启动spark-shell [root@node111 ~]# runCmd.sh "rm /usr/cwgis/app/spark/jars/lib/scala*.jar" all ...
spark-shell报错：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSData
吾名的博客
07-26 4985
https://www.cnblogs.com/yanghuabin/p/8329205.html
Spark 启动Spark Shell环境出错
m0_65893781的博客
10-31 2046
Spark 启动Spark Shell环境出错 Exception in thread "main" java.lang.NoSuchMethodError: jline.console.completer.CandidateListCompletionHandler.setPrintSpaceAfterFullCompletion(Z)V
Spark启动错误Exception in thread “main” java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$
漫游学海之旅
10-22 1万+
1   错误 [error] (run-main-0) java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet; java.lang.NoSuchMethodError: scala.collection.immutable.HashS
Win10下spark-shell报错处理-附件资源
03-02
Win10下spark-shell报错处理-附件资源
windows安装spark后spark-shell启动报错
木凡_Denius
05-17 6316
Hadoop lib下已添加对应版本的winutils cmd输入D:\peizhi\hadoop\bin\winutils.exe chmod 777 /tmp/hive 不能成功启动spark-shell <console>:16: error: not found: value sqlContext import sqlContext.implicits._
spark-shell 启动报错org.apache.hadoop.security.AccessControlException: Permission denied: user=root, acc
蘑菇丁的专栏
05-16 2247
[root@cm3 ~]# spark-shell Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). 19/05/16 17:08:23 ERROR spark.SparkContext:...
解决hbase shell 启动失败问题-hbase 2.4.12-hadoop 3.3.1
韦不二的博客
05-23 5037
1. 方案 看hbase官网这两个版本应该是兼容的，但是实际上有包冲突，解决方案是用hadoop包替换hbase的包。 hbase 2.4.12 hadoop 3.3.1 2.报错 2.1 启动hbase shell 报错 java.lang.NoSuchMethodError: jline.console.completer---- (base) [root@node001 logs]# hbase shell LoadError: load error: irb/completion -- java.l
java Exception in thread "main" java.lang.NoSuchMethodError
08-08 7120
 前言:             由于这两个问题新手问得较多,   且回答比较零散,   很难统一整理,   所以就直接写了一篇,   还请大家见谅.     正文:     一,   类路径   (class   path)             当你满怀着希望安装好了java,   然后兴冲冲地写了个hello world,然后编译,     运行,   就等着那两个美好的单词出现在眼前,
Exception in thread "main" java.lang.NoSuchMethodError
热门推荐
yzl_8877的博客
11-18 7万+
今天编程又碰到了这个异常。以前碰到了也很少总结，今天就来说一下这个异常发生的几种情况： (1).第一个常见原因jar包中确实没有这个方法，所以虚拟机根本没有加载这个方法。 (2).第二个常见原因是jar包冲突了。导致虚拟机不知道加载哪一个，所以就导致了加载失败，从而找不到这个方法。 (3).第三个，也许就是包含在第二种情况中，该方法只有抽象定义，而没有具体实现。我今天的遇到的是第二种吧。
客户管理系统(源码+万字报告+部署)
qq_40828705的博客
11-23 204
@MBY 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 20191122 #复习 [root@CentOS ~]# vi /etc/hosts — 修改主机名与IP地址的映射关系 [root@CentOS ~]# vi /etc/s...
java.lang.NoSuchMethodError错误解决(用maven)
weixin_43763175的博客
03-24 5099
<dependency> <groupId>org.springframework</groupId> <artifactId>spring-context</artifactId> <version>4.0.3.RELEASE</version> </dependency&...
hive.HiveImport: Exception in thread "main" java.lang.NoSuchMethodError: 异常解决
互联网
02-03 2208
创建Hive表结构时，报出这样一个异常： INFO hive.HiveImport: Exception in thread "main" java.lang.NoSuchMethodError: org.apache.thrift.EncodingUtils.setBit(BIZ)B 原因是HBase和Hive的包libthrift-[*].jar不一致导致的。 解决方法：将...
在linux执行java程序报错：Exception in thread "main" java.lang.NoSuchMethodError:
编程爱好者
04-30 9237
环境 IDEA Ultimate 2018.3 MAVEN 3.5.4 背景 将maven工程打包成jar（不包含第三方jar包），放到linux主机上执行，指定第三方jar路径，命令如下： nohup java -Djava.ext.dirs=/usr/java/jdk1.8.0_181-cloudera/jre/lib/ext:/dev/shm/testMetrics/lib -jar si...
spark启动spark-shell报错
最新发布
04-29
当启动Spark Shell时，可能会遇到各种错误。以下是一些常见的错误和解决方法： 1. 错误：`java.lang.OutOfMemoryError: Java heap space` 解决方法：增加堆内存大小。可以通过设置`spark.driver.memory`和`spark....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值