Spark开发环境搭建（IDEA、Maven）

在搭建开发环境之前，请先安装好scala开发环境和spark：
scala：https://blog.youkuaiyun.com/qq_39429714/article/details/84332869
spark：https://blog.youkuaiyun.com/qq_39429714/article/details/84332698

此时，我们的IDEA已经能做普通的scala开发；

如果要开发spark程序，只要引入spark相关的依赖即可
（即导入spark相关的jars）；

导入spark相关的依赖有两个办法：
1、引入相关的jars(操作简单)
2、使用maven/sbt管理jars（操作复杂）

Maven简介

Maven是一个跨平台的项目管理工具（Apache开源项目）。它主要服务于基于Java平台的项目构建、依赖管理和项目信息管理；

很多Java应用都会借用第三方的开源类库，这些类库都可通过依赖的方式引入到项目中来。随着依赖的增多，版本不一致、版本冲突、依赖臃肿等问题都会接踵而来；

Maven提供了一个优秀的解决方案，通过一组坐标Maven能够找到任何一个Java类库。Maven给Java类库世界引入了经纬，让它们变得有秩序，借助它来有序地管理依赖，轻松地解决那些繁杂的依赖问题；

Maven还为全世界的Java开发者提供了一个免费的中央仓库，在其中几乎可以找到任何的流行开源类库。通过一些工具还能对其进行快速地搜索。只要定位了坐标，Maven就能够自动下载，省去了手工劳动；

Maven的安装

1、下载、解压缩
2、设置环境变量，使环境变量生效
3、mvn –v
备注：仅在安装IDEA的节点上安装
Maven会根据项目的pom.xml文件下载很多的jar，下载后的jar放在:
~/.m2/repository 中 .m2可以先手动在家目录下创建，IDEA会自动识别或创建
缺省要去国外下载，速度非常慢。
我们采用如下方式：
1、将$MAVEN_HOME\conf\settings.xml文件复制一份到~/.m2目录下
2、修改默认下载地址，打开 ~/.m2/settings.xml，大约在文件的150行，做如下修改：

<mirrors>
  <mirror>  
    <id>alimaven</id>  
    <name>ali