Intelli Idea下 一个Spark的小例子

使用的是Ubuntu16.04
1、下载Intelli Idea的Community版本，并解压放到/opt/路径下，这里下载的为2016.3.5版本
http://www.jetbrains.com/idea/download/#section=windows

2、打开终端，进入解压后的idea目录，运行bin下idea.sh

cd /opt/idea    
bin/idea.sh

3、点击右下角的configure-plugins-Install JetBrains Plugins，找到Scala并Install

4、点击create new project新建项目，选择创建scala程序，点击下一步，在Project JDK中选择自己的JDK路径，点击完成

5、点击菜单栏ProjectStructure，在Modules中，右键src，在src下建main文件夹，再在main下面建一个scala文件夹，右键点击这两个文件夹，将类型改为Source

在Libraries中，点添加-Java加入spark的jar包。如果没有scalaJDK则还需点添加-scalaJdk

点击Apply和Ok保存设置

6、右键scala文件夹，new-package新建包test1，然后右键test1 new-ScalaClass新建scala文件，以下为scala内容，建立一个rdd并保存在本地。

package test1
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.SparkContext._
object test1 {
  def main(args: Array[String]){
    if(args.length == 0){
      System.err.print("Usage:test1<file1>")
      System.exit(1)
    }

    val conf = new SparkConf().setAppName("test1")
    val sc = new SparkContext(conf)
    //建立rdd并保存到arg（0）指定的路径下
    val num = 1 to 10
    val rdd1 = sc.parallelize(num)
    rdd1.saveAsTextFile(args(0))

    sc.stop()
  }
}

7、点击菜单栏ProjectStructure，在Artifas中点击绿色＋ jar-from modules，指定main class为要运行的test1，点击确定

点击Build-Build Artifacts-Build，Build结束后，可以看到项目下out文件夹中有mytest.jar

打开终端，切换到spark路径下，将此jar包放到spark路径下

cp /home/zyt/IdeaProjects/mytest1/out/artifacts/mytest1_jar/mytest1.jar

启动master和worker，并提交代码，其中指定了参数为本地的路径，即将rdd保存到本地/home/mytest1下

bin/spark-submit --master spark://ubuntu:7077 --class test1.test1 mytest1.jar file:///home/mytest1

运行结果如下，可以看到代码已经成功运行

打开网页localhost：8080可以看到任务已经完成

然后打开/home 可以看到有一个叫mytest1的文件夹，文件夹中有三个文件

其中part-00000和part-00001中内容分别为12345和678910，说明rdd已经成功保存。