Spark开发环境搭建

1.安装idea scala 插件

安装intelj IDEA并配置scala插件

https://www.jetbrains.com/idea/

IDEA安装完成后，安装scala插件：启动intelj -> 点击启动页configuration -> Plugins，或者file->setting->Plugins，搜索scala并安装插件。如果搜不到，可能是需要代理：Install JetBrains plugin… -> HTTP Proxy Settings设置代理。

安装完成后要重启IDEA。

版本说明：

jdk：1.8

scala：2.11.8

spark：2.3.0

hadoop 2.6.5

环境准备

jdk配置

1. 配置JAVA_HOME与Path：
   
   Path
   

2. 验证配置：

scala安装与配置

1. scala下载：

访问官方地址 http://www.scala-lang.org/download/2.11.8.html

2. 配置Path：

方法同上，参加电脑中具体位置

3. 验证配置：
   

Spark安装与配置

1. spark下载：

访问官方地址 http://spark.apache.org/downloads.html

选中官方推荐的地址即可下载，其他地址也可用（建议采用迅雷等下载工具下载，速度比较会快很多）

2. 解压至D盘；

3. 配置Path：

4. 通过spark-shell进入Spark的交互式命令行模式：
   

如上，可以看到对应的spark、scala、java版本，同时也看到了异常信息，该异常信息是由于hadoop导致的，下面来配置hadoop。

Hadoop安装与配置

1. hadoop下载

访问官方 http://hadoop.apache.org/releases.html

进入下载页，如下建议地址（同样建议用迅雷等下载工具下载，速度更快）

下载binary版本

2. 解压至

3. 配置HADOOP_HOME&Path：

path：

winutils下载：https://github.com/steveloughran/winutils

下载对应版本的bin目录直接替换本地bin目录即可。

此时继续spark-shell进入spark命令行交互模式：

此时即不会出现上述的异常提示。

访问控制台中的webui如下：

http://127.0.0.1:4040/jobs/

​