scala&spark相关

1. scalatest 版本要和scala版本一致。
2. scalac error : bad option: ‘-make:transitive’

在pom.xml中，删除-make:transitive

1. 一般而言，saveAsTextFile会按照执行task的多少生成多少个文件，比如part-00一直到part-0n，n自然就是task的个数，亦即是最后的stage的分区数。

//做完计算之后将数据汇集到一个分区，然后再执行保存的动作
coalesce(1,true).saveAsTextFile()
//或
repartition(1)

1. HDFS上读取文件&本地文件系统读取
   spark默认是从hdfs读取文件的。

//从HDFS中读取文件
sc.textFile("hdfs://")
//从本地文件系统中读取文件
sc.textFile("file://")

1. Spark-submit class not found exception & Spark Sql 中 com.mysql.jdbc.Driver ClassNotFoundException

val conf = new SparkConf().setJars(List("SparkTagPaper.jar","mysql-connector-java-5.1.35.jar"))

Common Spark Troubleshooting
需要的jar包没有被提交到worker上，通过setJars手动将jar包加入要提交的jar list中。