spark的安装与使用

spark的安装与使用

1、 apache官网 下载spark软件包选择hadoop2.7(版本要与hadoop版本对应)
spark-2.4.3-bin-hadoop2.7.tgz

2、下载scala scala官网下载

3、使用共享文件夹上传

4、解压移动

sudo tar -xzvf spark-2.4.3-bin-hadoop2.7.tgz -C /usr/spark
sudo tar -xzvf scala-2.10.1.tgz -C /usr/scala

5、配置环境变量（vim /etc/profile）
（1）Scala环境

export SCALA_HOME=/usr/scala/scala-2.10.1
export PATH=$SCALA_HOME/bin:$PATH

（2）spark环境

export SPARK_HOME=/usr/spark/spark-2.4.3
export PATH=$