idea+scala+spark

1，查看JDK安装目录：/usr/libexec/java_home -V

2，IDEA配置：https://blog.youkuaiyun.com/u012373815/article/details/53266301

3，报错spark版本与scala版本不兼容问题：

        Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;

解决办法：由于spark1.6的支持最高的scala版本是scala-2.10.X 所以换成scala-2.10.6可以解决问题。

4,spark-submit时找不到该类：  

     java.lang.ClassNotFoundException: mavenSparkWordCount

解决方法：spark-submit --class MySpark --master spark://127.0.0.1:7077 /root/devspace/spark/mavenSparkWordCount.jar