winse

 官网的教程提交依赖的jar，使用 --jars 参数来添加额外的jar。这种方式比较费劲，如果依赖比较多需要一个个的弄，挺麻烦。   查看 SparkSubmit 源码时（结合help帮助），可以通过 --packages --repositories  两个参数来添加需要的包（当然也可以包括 primaryResource ）。packages写法类似于sbt类似，多个包通过逗号分隔；...

 A => Option[B] => B 这个过程scala的  aList.map(B(_)).filter(!_.isEmpty).map(_.get)  和  aList.flatMap(B(_))  有什么差别？ 在 spark rdd 以及 sparksql 同样的操作又有什么异同呢？ -- Scala 对Option而言，逻辑上flatMap就是map.f...