win10 安装 spark 开发环境

1、配置 hadoop

下载hadoop：官方地址：http://hadoop.apache.org/releases.html

解压配置环境变量：

HADOOP_HOME 和 Path。

2、配置Spark

 下载spark:官网地址：http://spark.apache.org/downloads.html  

下载完成后解压到D盘根目录下即可。D:\spark-2.3.0-bin-hadoop2.6。

配置Path：将D:\spark-2.3.0-bin-hadoop2.6\bin添加到Path中。

3、下载hadoop 插件包（下面两个文件）

winutils.exe

hadoop.dll

放置在文件夹\hadoop\bin 目录下下面

附：winutils下载地址 （hadoop 插件包的所有的版本）

https://github.com/steveloughran/winutils

https://github.com/cdarlint/winutils

 

附录：

spark Windows 开发环境.md

https://note.youdao.com/ynoteshare1/index.html?id=3287f13ad5168e6d641fa260518dbeed&type=note