安装Spark(Local模式)

下载Spark包

全部资料都放在下面的链接中了

链接:https://pan.baidu.com/s/1k86b13HvuB8wAF2b7iCzBA?pwd=ptr0 
提取码:ptr0

压缩格式的文件spark-3.2.0-bin-without-hadoop.tgz下载到本地电脑

sudo tar -zxf ~/下载/spark-3.2.0-bin-without-hadoop.tgz -C /usr/local/
cd /usr/local
sudo mv spark-3.2.0-bin-without-hadoop spark
sudo chown -R hadoop spark          # 此处的 hadoop 为你的用户名

修改Spark的配置文件spark-env.sh

cd /usr/local/spark
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
vim ./conf/spark-env.sh

在第一行添加以下配置信息并保存:

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

验证Spark是否安装成功

cd /usr/local/spark
bin/run-example SparkPi

运行Apache Spark自带的一个示例程序 —— SparkPi。

bin/run-example SparkPi 2>&1 | grep "Pi is"

运行后出现 Pi is roughly 3.1477357386786933

Spark安装成功
 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值