scala——0. idea配置scala、spark

1. 下载idea （community社区版免费）

http://www.jetbrains.com/idea/download/#section=linux

 

2. 安装

安装idea：直接右键提取

安装scala：选择Configure中的Plugins

搜索scala，安装scala

 

3. 配置scala（SDK）

 

4. helloScala程序示范

src右键新建scala文件，类型（kind）选择object

 

ctrl+j 快速创建main函数

运行：右键helloScala，run ‘helloScala’

 

5. 配置spark

导入spark jar

file -> Project Structure -> Libraries -> + -> java

选择spark的jar包路径

左侧工程栏的External Libraries中会出现我们配置的三个库：

jdk 1.8,jars,scala-sdk

 

报错：

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;

是scala版本问题，更换即可

spark默认用的scala是2.11.8（可输入spark-shell查看），我下的是2.12

 

 

6. 消除过多的spark默认显示信息，如info信息

将spark/conf/log4j.properties复制到项目src目录下

前面在配置spark时已经将INFO修改为WARN了

 

 

 

如果代码不能运行，run是灰的：

file -> Project Structure

找到src文件夹，右键source