CDH-Spark2-shell启动失败

最新推荐文章于 2024-02-26 22:34:50 发布
最新推荐文章于 2024-02-26 22:34:50 发布
阅读量716 收藏 2
点赞数
文章标签： hadoop spark hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_51687288/article/details/124808578
版权

CDH5.16.1版本
spark2.4.0版本
报错信息如下图所示
在这里插入图片描述
报错原因分析：Spark1.4以后，所有spark的编译都是没有将hadoop的classpath编译进去的。所以必须在spark-env.sh中指定hadoop中的所有jar包。
进入Spark2组件，点击配置选项，搜索如下：
spark-env.sh
配置如下

export SPARK_DIST_CLASSPATH=$(${HADOOP_HOME}/bin/hadoop classpath)

在这里插入图片描述
之后重新部署客户端配置
在这里插入图片描述
再次启动spark2-shell
在这里插入图片描述

甜饮铺。
关注
CDH集群spark-shell执行过程分析
萌兔兔MMQ！！
07-30 584
目的刚入门spark，安装的是CDH的版本，版本号spark-core_2.11-2.4.0-cdh6.2.1，部署了cdh客户端（非集群节点），本文主要以spark-shell为例子，对在cdh客户端上提交spark作业原理进行简单分析，加深理解spark-shell执行启动spark-shell后，可以发下yarn集群上启动了一个作业，实际上，cdh-spark默认提交作业模式为yarn-client模式，即在本地运行Driver，作业在yarn集群上执行spark-shell启动过程分析。...
安装CDH后启动spark-shell报错解决方案
jaysen1005的博客
02-28 2397
描述 安装好CDH、Coudera Manager之后，通过Coudera Manager安装所有自带的应用，包括hdfs、hive、yarn、spark、hbase等。利用远程客户端在安装有spark的节点上，通过spark-shell启动spark，满怀期待的启动spark，but，来了个晴天霹雳，报错了，报错了！错误信息如下： 19/02/28 13:45:06 ERROR spark....
启动spark-shell或执行spark-submit失败的问题
u014005893的博客
09-11 4272
启动spark-shell或执行spark-submit失败的问题 楼主搭建了一套CDH大数据平台，其中包括Spark2服务，近来在终端启动spark-shell以及利用spark-submit提交任务时，分别报以下错误： [root@cdh0 ~]# spark-shell Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream at org.apac
spark-shell启动失败
一亩三分地
03-17 2044
执行spark-shell命令后，出现以下报错： java.net.BindException: Cannot assign requested address: Service 'sparkDriver' failed after 16 retries (on a random free port)! Consider explicitly setting the appropriate b...
Spark 启动Spark Shell环境出错
m0_65893781的博客
10-31 2027
Spark 启动Spark Shell环境出错 Exception in thread "main" java.lang.NoSuchMethodError: jline.console.completer.CandidateListCompletionHandler.setPrintSpaceAfterFullCompletion(Z)V
linux执行spark-shell卡住
WBW_WBW的博客
09-09 1048
linux系统中执行spark-shell卡住 执行操作： spark-shell 现象：长时间卡住不动 原因： 解决办法：
spark-shell启动错误
飞翔的宇宙
11-01 1534
显示的错误: Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLog...
spark-2.2.1-bin-2.6.0-cdh5.14.2.tar.gz
10-19
5. 可以通过`spark-shell`或`pyspark`启动交互式环境，或者编写Spark应用程序并使用`spark-submit`提交到集群上运行。 在实际应用中，你可能还需要考虑Spark与CDH中其他组件的集成，例如Hive、Impala，以实现更高效...
docker-cdh5-spark:JUC会议准备
05-29
会议 JUC 会议准备 EDIT TEST Docker 与 CDH 5.4 和 Oracle 用于 JUC 会议 $ docker build -t landoop/cloudera-5-latest-with-oracle $ docker run -t -i landoop/cloudera-5-latest-with-oracle
解决CDH内嵌Spark版本不支持spark-sql的方案
阿啄debugIT
02-15 3043
1.概述 CDH内嵌Spark版本不支持spark-sql,因为cloudera在推自己的impala，但是有些场景需要用到Spark-sql时，比如Kylin企业版想要加快构建需要用到SparkSQL，大概的思路就是换jar包，很多资料，千篇一律是要加入hive&hivethriftserver重新编译源码再打成jar才能支持，其实我们只需要到官网去把编译好的spark包下下来，直接替...
Spark-shell批量命令执行脚本的方法
09-15
今天小编就为大家分享一篇Spark-shell批量命令执行脚本的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Spark-shell 启动不了或者长时间加载
qq_41387313的博客
05-17 2566
Spark-shell 启动不了或者长时间加载 1.楼主安装的是CDH的版本。 2.问题如下图 3.解决问题的方法： 在CDH界面中进入yarn里面。 然后调节yarn.scheduler.minimum-allocation-mb 参数为1G即可进入 4.成功解决！
启动spark-shell遇到的一些问题
记录
04-12 6258
执行：spark-shell 1、报When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in th environmwnt 原因是没有配置之前在/etc/profile下配置了hadoop的环境变量，但是没有配置HADOOP_CONF_DIR 解决办法： vim /U...
spark2-shell启动spark2报错
lbq15735104044的博客
11-12 1155
1、spark2-shell命令启动spark2后，抛出异常，关键错误信息如下图： 仔细查看错误信息之后发现，原来是yarn配置的内存不够，spark启动需要1024+384 MB的内存，但是我的yarn配置仅有1024 MB，不够满足spark启动要求，所以抛出异常。 解决方法 录Cloudera Manager，找到YARN (MR2 Included)，点击进入，如图...
在本地cmd中执行Spark-shell报错：Exception in thread “main“ java.lang.ExceptionInInitializerError
qq_64078377的博客
10-10 1339
本地执行spark-shell报错
启动spark-shell时报错java.lang.NumberFormatException: For input string: “0x100“
最新发布
哇咔咔哇咔的博客
02-26 944
启动spark-shell时报错java.lang.NumberFormatException: For input string: "0x100"
spark-shell 写成脚本执行后终端无法显示输入命令
whoamnew的博客
04-15 1006
spark-shell 写成脚本执行后终端无法显示输入命令 日前简单上手了一下spark，使用spark-shell跑命令时会出现一个很奇怪的问题，如标题。 脚本如下： #!/bin/bash source /etc/profile exec spark-shell --name spark-sql-test --executor-cores 8 --executor-memory 8g ...
[CDH] CDH5集成Spark2.2后spark-shell启动报错解决
Cindy的博客
11-13 2209
CDH5已集成Spark2.2，spark-shell启动报错： [root@hadoop01 bin]# ./spark2-shell Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream at org.apache.spark.deploy.Sp...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值