下载Spark包
全部资料都放在下面的链接中了
链接:https://pan.baidu.com/s/1k86b13HvuB8wAF2b7iCzBA?pwd=ptr0
提取码:ptr0
压缩格式的文件spark-3.2.0-bin-without-hadoop.tgz下载到本地电脑
sudo tar -zxf ~/下载/spark-3.2.0-bin-without-hadoop.tgz -C /usr/local/
cd /usr/local
sudo mv spark-3.2.0-bin-without-hadoop spark
sudo chown -R hadoop spark # 此处的 hadoop 为你的用户名
修改Spark的配置文件spark-env.sh
cd /usr/local/spark
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
vim ./conf/spark-env.sh
在第一行添加以下配置信息并保存:
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
验证Spark是否安装成功
cd /usr/local/spark
bin/run-example SparkPi
运行Apache Spark自带的一个示例程序 —— SparkPi。
bin/run-example SparkPi 2>&1 | grep "Pi is"
运行后出现 Pi is roughly 3.1477357386786933
Spark安装成功