用 IDEA 编写 Scala spark 程序时,在 IDEA 可以跑通。
但用 sbt package 打包后的 jar 文件用 spark-submit 跑却出现以下错误
ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0)
java.io.IOException: unexpected exception type
先进去 spark-shell ,查看 spark 的 Scala 版本
然后再去项目中,修改 scalaVersion
build 一下,再 sbt package,再 spark-submit 即可以成功。