使用 IntelliJ IDEA打包Spark应用程序

近年来随着大数据不断升温，并行数据分析变得越来越流行，各种分布式计算框架应运而生。Spark最早起源于加州大学伯克利分校AMP实验室的一个研究项目，实验室的研究人员曾经使用过Hadoop MapReduce，他们发现MapReduce在迭代计算和交互计算的任务上效率表现不佳，因此Spark从一开始就是为交互式查询和迭代算法设计的，同时还支持内存式储存和高效的容错机制。 Spark作为下一代大数据处理引擎，在非常短的时间里崭露头角，并且以燎原之势席卷业界。本篇主要介绍了如何使用IDEA在本地打包Spark应用程序（以K-Means为例），并提交到集群执行。

1、 安装JDK与Scala SDK

JDK和Scala SDK的安装在这里不再赘述，需要注意的是：要设置好环境变量，这样新建项目时就能自动检测到对应的版本，同时版本最好不要太高，以避免版本不兼容的问题，本篇采用的是JDK 8.0与Scala 2.10.6。
JDK下载地址：http://www.oracle.com/technetwork/java/javase/downloads/
Scala下载地址：http://www.scala-lang.org/download/

2、 安装IDEA

IDEA 全称 IntelliJ IDEA，是java语言开发的集成环境，IntelliJ在业界被公认为最好的java开发工具之一， IDEA每个版本提供Community（社区版）和Ultimate（商业版）两个edition，其中Community是完全免费的，Ultimate版本可以试用30天，下载地址：http://www.jetbrains.com/idea/download/

2.1 安装Scala插件

根据安装向导安装好IDEA后，需要安装scala插件，有两种途径可以安装scala插件（本篇已经安装好了scala插件，故在这一步作更新）：

1. 启动IDEA -> Welcome to Intell