[Linux]Spark-2.4.0 配置安装(CentOS),sbt没有安装成功

以下基本出自:http://dblab.xmu.edu.cn/blog/931-2/#more-931

一、下载spark-2.4.0

下载链接:https://archive.apache.org/dist/spark/spark-2.4.0/spark-2.4.0-bin-without-hadoop.tgz

二、上传解压

(我用的是SecureCRT)
1、进入要上传文件的目录:
cd /opt/modules/softwares
2、上传文件:
rz
出现下图界面,选中spark压缩包,点击添加,然后点击确定
在这里插入图片描述
若是没反应,再输入rz
在这里插入图片描述
3、解压文件
将压缩包解压到(你要解压的文件夹目录)
[tar -zxf 目标压缩包 -C 目标文件夹]
tar -zxf spark-2.4.0-bin-without-hadoop.tgz -C /opt/modules
在这里插入图片描述
4、重命名spark(原来的名字太长了)
mv spark-2.4.0-bin-without-hadoop spark-2.4.0
在这里插入图片描述

三、配置

1、拷贝配置文件
进入spar-2.4.0中
cd spark-2.4.0
拷贝配置文件
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
在这里插入图片描述
2、编辑配置文件(我喜欢用Notepad++修改配置文件)
vim ./conf/spark-env.sh
在最后添加

export SPARK_DIST_CLASSPATH=$(/opt/modules/hadoop-2.7.3/bin/hadoop classpath)

括号里边为什么这么写???不知道。。。。

四、测试

1、进入spark-shell环境
bin/spark-shell
该命令省略了参数,这时,系统默认是“bin/spark-shell –master local[*]”,也就是说,是采用本地模式运行,并且使用本地所有的CPU核心。

启动spark-shell后,就会进入“scala>”命令提示符状态,如下图所示:
在这里插入图片描述
2、测试
现在输入8*2+5回车,就会出来答案,res0:Int = 21
在这里插入图片描述
3、退出shell环境
:quit 或者 ‘Ctrl’+‘D’

关于sbt的暂时不写了…………因为我安装不成功。


五、下载sbt-1.2.8

下载地址:sbt-launch.jar

六、安装sbt

1、创建sbt文件夹
mkdir /opt/modules/sbt
2、将jar包上传到sbt文件夹中
cd /opt/modules/sbt
rz

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值