Windows安装Spark

系统版本

    Spark : 2.3.1

    Hadoop : 2.6.0

    JDK : 1.8.0_161

    Scala : 2.11.8

第一步：安装JDK，配置环境变量

JAVA_HOME
C:\Program Files\Java\jdk1.8.0_161
CLASSPATH
.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;
Path
%JAVA_HOME%\bin

第二步：安装Scala,配置环境变量

略...

第三步：安装Hadoop，配置环境变量

HADOOP_HOME
F:\hadoop-2.6.0
HADOOP_PREFIX
%HADOOP_HOME%
Path
%HADOOP_HOME%\bin
%HADOOP_HOME%\sbin

第四步：安装hadoop winutils，下载链接https://github.com/steveloughran/winutils， 选择你要的hadoop版本号，比如2.8.1，你只需要下载winutils.exe，然后拷贝到C:\Hadoop\bin文件夹中

第五步：安装Spark,配置环境变量

SPARK_HOME
F:\spark-2.3.1-bin-hadoop2.6

Path
%SPARK_HOME%\bin
%SPARK_HOME%\sbin

第六步：以 管理员身份打开cmd，运行spark-shell，你应该看到如下界面