Spark安装步骤及第一次启动failed to launch: nice -n 0错误

最新推荐文章于 2023-03-20 09:08:06 发布

C_time

最新推荐文章于 2023-03-20 09:08:06 发布

阅读量1w

点赞数 3

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark

本文链接：https://blog.youkuaiyun.com/C_time/article/details/100023332

spark 专栏收录该内容

22 篇文章

订阅专栏

本文详细记录了在三台虚拟机上部署Spark集群的过程，特别关注了因JDK版本不兼容导致的启动失败问题。通过更换并正确配置JDK1.8，解决了“Unsupported major.minor version 52.0”的错误，实现了Spark集群的成功启动。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

基本条件:同步时间、免密登录、关闭防火墙、安装JDK1.8

在安装spark之前

emmm
我有三台虚拟机
hadoop01
hadoop02
hadoop03

然后jdk1.7
就是因为这个

我第一启动时failed to launch: nice -n 0错误

哦对了网上好多说配置 /root/.bashrc 文件
在后面加上

export JAVA_HOME= /usr/local/jdk1.8.0_191

这句话就好了
我弄了没用
因为我的jdk1.7

启动失败好多错误信息有提示信息
你要认真去看下面的错误信息
它提示我去看日志我进入到提示目录看的日志
告诉我

Unsupported major.minor version 52.0

注意了看到这个就应该知道这是版本不兼容的问题出现了因为我前面因为替换jar包的问题遇到过
所以含泪舍弃了jdk1.7
从官网下载了jdk1.8 上传解压
在这里还在想以前的jdk1.7的配置怎么办一些路径还有配置文件写的jkd1.7怎么弄一个一个改？
大佬告诉我！
将加压后的jdk1.8的名字改为现在存在的jdk1.7的名字就行了
就是内容变为1.8 但名字还是1.7！！！！
ok
安装好重启spark 果然成功！

步骤

1.上传安装包到hadoop01 2.将文件解压到指定的目录

 tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz -C /usr/local

2.在其conf下配置
3.1修改conf目录下的env文件 mv spark-env.sh.template spark-env.sh vi spark-env.sh 在文件的末尾添加 export JAVA_HOME= /usr/local/jdk1.8.0_191 JDK安装路径

export SPARK_MASTER_IP=hadoop01      主节点IP
export SPARK_MASTER_PORT=7077    主节点端口号（内部通信）

注意这个hadoop01
如果你没有配置hosts文件那就写hadoop01的地址

export JAVA_HOME=/usr/local/jdk1.7.0_79
export SPARK_MASTER_IP=hadoop01
export SPARK_MASTER_PORT=7077

3.修改slaves.template文件为slaves
mv slaves.template slaves
vi slaves

我写上了
(可以根据自己的结点数量适当删改)
hadoop02
hadoop02

4.分发配置好的内容到其他机器

scp -r /usr/local/spark-2.2.0-bin-hadoop2.7/  hadoop02:/usr/local/
scp -r /usr/local/spark-2.2.0-bin-hadoop2.7/  hadoop03:/usr/local/

5.spark启动集群
进入到安装目录找sbin目录进入

[root@hadoop01 conf]# cd /usr/local/spark-2.2.0-bin-hadoop2.7/sbin/
[root@hadoop01 sbin]# ./start-all.sh

在这里插入图片描述