本地Spark程序提交到hadoop集群运行流程

1.本地环境准备

本文是将eclipse开发环境下的maven+Spark+scala程序移植到集群环境上执行过程，写的很粗糙，见谅。

本地用eclipse编写Spark小程序，完成从txt文件读取数据操作。

本地maven+Spark+scala环境就不多说了，如果配置出问题，就下载最新的eclipse然后从商店装插件吧。

注意在maven的配置文件pom.xml中插入Spark引用：

		<dependency>
			<groupId>org.apache.spark</groupId>
			<artifactId>spark-core_2.10</artifactId>
			<version>1.2.0</version>
		</dependency>

2.编写测试代码

本地数据文件放在data文件夹下，数据文件格式是“性别”,“姓名”。scala代码如下，代码中注释掉的是本地文件读取，替换为HDFS上的路径，代码中制定local不需要修改，会在后面的执行脚本中被覆盖。“*”表示服务器IP，端口为默认端口。

package com.******.scalaprogram

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.rdd.RDD
import scala.collection.mutable.LinkedList

object TestScala {
  def main(args: Array[String]): Unit = {
    val sc = new SparkContext("local[2]", "Pations Data Analy