Spark安装出错问题

最新推荐文章于 2025-04-14 15:30:12 发布

鹏飞九万里

最新推荐文章于 2025-04-14 15:30:12 发布

阅读量3.1k

点赞数 2

分类专栏： spark 文章标签： spark

本文链接：https://blog.youkuaiyun.com/pengfeijiuwanli/article/details/124026080

版权

spark 专栏收录该内容

1 篇文章

订阅专栏

Spark安装出错问题

1.环境

1.centos 7.0版本
2.jdk 1.8
3.hadoop 2.9.3
4.spark 2.4.3 spark-2.4.3-bin-without-hadoop.tgz

2.出现的问题

1.Spark-shell终端出错
报错 Exception in thread "main" java.lang.NoSuchMethodError: jline.console.completer.CandidateListCompletionHandler.setPrintSpaceAfterFullCompletion(Z)V

解决方案:
 ① 报错原因为 $SPARK_HOME/jars 路径下缺少：

jline-2.14.6.jar

② 以及环境变量缺少：

export TERM=xterm-color

2）解决方案：

① 在错误1中使用的jars文件夹里面寻找 jline-2.14.6.jar ，找到这个文件，通过7-zip打包成 .tar.gz 格式，然后上传到服务器，再解压到$SPARK_HOME/jars路径下

错误如下图:

在这里插入图片描述

2. Spark-sql终端启动出错:
Failed to load org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver.
去官网下载没有without的安装包
如: spark-2.4.3-bin-hadoop2.7.tgz 
具体错误如下:
~~~ ![在这里插入图片描述](https://img-blog.csdnimg.cn/e4f9ae3df1be46f2ad6b898cc01bbc3c.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA6bmP6aOe5Lmd5LiH6YeM7pGH,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)