window环境下安装spark

spark是大数据计算引擎，拥有Spark SQL、Spark Streaming、MLlib和GraphX四个模块。并且spark有R、python的调用接口，在R中可以用SparkR包操作spark，在python中可以使用pyspark模块操作spark。本文介绍spark在window环境下的安装。

0 环境

先给出安装好后的各个软件版本:

• win10 64bit
• java 1.8.0
• scala 2.12.8
• hadoop 2.7.1
• spark 2.4.1

1 java安装

下载

spark依赖java，首先电脑中必须安装java。

地址：https://www.oracle.com/java/technologies/javase-jdk8-downloads.html

根据系统下载对应的jdk，下载后双击exe文件进行安装，可选择安装位置。

环境变量配置

依次点击我的电脑 ->属性->高级系统设置->环境变量，在系统变量选项卡中，新建一个系统变量，如下，变量名为JAVA_HOME，变量值为本地安装java的路径。