Spark环境搭建-Local-本地模式

1.jdk

2.ScalaSDK只需要在windows安装即可

3.Spark安装包

http://spark.apache.org/downloads.html

直接使用资料中的spark-2.4.6-bin-hadoop2.7.tgz

2.2原理

在本地使用多线程模拟Spark集群的各个角色

2.3操作

1.上传解压安装包

上传Spark压缩包到/home/hadoop目录

spark-2.4.6-bin-hadoop2.7.tgz

解压缩Spark到/usr/local目录，并重命名为spark，使用以下命令：

sudo tar -xvf spark-2.4.6-bin-hadoop2.7.tgz -C /usr/local

sudo mv /usr/local/spark-2.4.6-bin-hadoop2.7/ /usr/local/spark

2.授权当前用户hadoop拥有spark目录的所有者权限，使用以下命令：

sudo chown -R hadoop /usr/local/spark

3.