安装
版本配套
Scala: 2.12.1
软件安装
配置
-
安装IntelliJ的Scala插件。
-
配置Java SDK和Scala SDK
创建新项目,勾选Scala类型。New一个SDK。选择JDK,再选择JDK所在的目录。New一个Scala的SDK,再选择Scala所在的目录
第一处project SDK
use library:点击creat
next,输入project name:spark ,finish
操作配置global libraries,也可这样“File” -> “Project Structure…” -> “Global Libraries"选择"scala-sdk-2.10.5”,点击"+“将其他所有未加入的scala lib目录下的jar加入进来。
配置全局变量
"File” -> “Project Structure…” -> “Libraries"增加一个Spark SDK。
增加一个java,Library选择E:Spark lib目录下的spark-assembly-1.6.2-hadoop2.6.0.jar文件。
配置项目源代码目录:"File” -> “Project Structure…” -> “Modules” -> “Sources”, 创建src\main\scala目录,并将此目录设置为源码目录,取消src为源码目录。
- 写代码
变成这样
然后,还要再配置一下输出,也就是说一会你写的代码编译打包成jar包,放到哪里去,起个啥名字。操作如下:files-project structures-arnifacts-“+”JAR-form Modules
编译&打包
build -> build artifacts -> spark_dev:jar -> build, 然后就开始编译了,在最下面可以看到进行的状态。如果没有报错,就是成功啦
到输出JAR包的目录下去看看,发现确实成功生成了一个jar文件。【特别提示:此处打好的jar包如果要提交到数平的Spark集群上运行,请打开此jar包文件,观察其中是否有一个scala的文件夹,删除之!否则可能与线上的scala版本冲突】