IntelliJ IDEA下的Spark程序开发

1.创建项目：

选好javaSDK和scalaSDK

2.导入Spark的jar文件依赖：

File－Project Structure－Libraries－jar 选择 spark路径下lib文件夹内的assembly jar包。

选择菜单中的“Run” ->“Edit Configurations”，修改“Main class”和“VM options”。 

在VM options中输入“-Dspark.master=local”，指示本程序本地单线程运行。

3.编写代码：

4.打jar包：

File－Project Structure－Artifacts－JAR－From modules with dependencies

注意名字这里要把“:jar”去掉

5.build Jar包：

Build－Build Artifacts...

选择build

假设jar的存放目录为/usr/Dery/Desktop/FilghtUSA.jar

则提交spark运行的代码为：

./spark-aubmit

--class com.liufan.sdut.flightUSA  /* 运行包下的类 */

--master spark://Master:7077  /* masterIP */

/usr/Dery/Desktop/FilghtUSA.jar /*jar包存放地址*/