利用idea创建spark工程

        实际项目中，我们可以再本地调试程序，再在spark集群上运行。本文记录了win7环境下怎样创建本地spark工程，并传递给spark。

1.spark环境搭建

Win7 系统下用IDEA创建Spark工程，由于版本之间相互依赖，下载时要看清楚版本。

Jdk:1.8.0_171

Spark:2.3.0

Hadoop:2.7

IDEA支持的Scala工程插件

Scala:2.11.8

 1 Spark下载

http://spark.apache.org/downloads.html

   先进入spark官网的下载页，选择要下载的Spark版本，hadoop版本相应推荐出来。

下载spark2.3.0-bin-hadoop2.7.tgz,同时记住Hadoop的版本。

2 hadoop下载

再进入hadoop下载页。选择相应的版本。

http://hadoop.apache.org/releases.html

3 win7环境下的Spark环境配置

Spark不支持win7，因此需要下载一个hadooponwindos-master的包。原始下载的hadoop2.7.6的bin在win7下编译会缺少dll文件，此包加入了这些文件。最后的安装工具如图：

用hadooponwindos-master的bin文件复制到D:\software\spark\hadoop-2.7.6\bin，替换hadoop-2.7.6的bin文件。

4环境配置

Jdk配置：

JAVA_HOME:

Path:

%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;

ClassPath:

.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar

Hadoop、Spark