路越的专栏

背景 在写一个ETL流程，先通过SQL读取Hive数据，然后RDD进行转换（map）,再转成DataFrame。提交任务后抛出以下异常。 20/04/20 12:14:08 ERROR ApplicationMaster: User class threw exception: java.lang.ClassNotFoundException: scala.Any java.lang.ClassN...

Scala语法函数式，面向对象，JVM val常量 var变量 函数是一等公民 函数可以作为参数传递 表达式没有返回值时，默认返回Unit Unit类型？对应于没有值 借贷模式 按名称传递与按值传递参数 def log(msg: String)vsdef log(msg:=>String) 按名称传递参数可以减少不必要的计算和异常 柯里化（Currying）? def add

官方文档：Dependency Scope 许多程序对 Maven 其实并不熟悉，大多停留在会使用 mvn clean package打包的程度上。我个人很推荐大家有时间的时候看看 Maven 方面的书籍资料。作为一个专业的工具，Maven 是很值得大家去学习的。推荐《Maven 实战》这本书。 Scope 优化 Example: 编写 Spark 程序的时候，将 Spark 相关的包的 sc