Scala-Spark-maven项目搭建

学习大数据的最开始，从项目搭建开始。

maven、scala以及spark的安装这里不做说明，介绍一个偷懒的项目搭建方法。

1、首先创建一个scala项目，File->New->Project

 

2、选择Scala项目（图中的sbt和maven一样，是一种构建项目的另一种方法）

3、选择安装的jdk和Scala版本，起好项目名称，保存到期望的目录下

4、copy一份maven文件过来（pom.xml文件）

5、刷新

6、创建有一个Scala类，可以看到，spark的包可以正常引import了

下面开始项目构建：

1、添加artifact，点开项目结构，如图

2、选择自己的项目，和需要运行的主类

3、点击ok

4、这里选择下面的这个，这样打出来的包会比较小

5、然后再ok就好了

6、然后进行artifact的build操作

7、点击之后会弹出来这个，选择build就好

项目打包完成之后，接下来启动spark，然后提交任务

我的是windows10环境，直接win+r然后cmd，打开命令窗口，在命令窗口输入命令spark-shell，不行的话用管理员身份试一下。

打开浏览器输入地址：http://127.0.0.1:4040/jobs/ 可以看到如下界面，说明启动成功。