HanseyLee

函数式编程（Functional programming），把计算作为一种数学意义上的函数，避免改变状态以及使用可变的对象或数据，是一种编程范式（Programming paradigms）。 命令式编程、过程式编程和面向对象式编程。 函数式编程：引用透明、无副作用、使用。声明和表达式而非语句。 函数柯里化，延迟求值。

背景 Hive 实现缓慢变化维，没有使用事务表的更新和删除操作（最新版本Hive已经支持，但需要Server/Client做相应配置，Hive实现的事务还有一定的局限性） Hive 自身的SQL使用MapReduce引擎，速度慢，这里使用SparkSQL实现 参考： 准备基础维度表 base_dim 业务字段：id, name, city, st 维度表默认字段：sk, scd_upd...

Scala ABC https://docs.scala-lang.org/tour/tour-of-scala.html http://www.runoob.com/scala/scala-tutorial.html Array 存储固定大小的同类型元素。 mutable。 Array._ 包提供了很多实用的数组方法：apply, concat, range, etc. import Arr...

RDD DataFrame DataSet https://databricks.com/wp-content/uploads/2016/06/Unified-Apache-Spark-2.0-API-1.png https://www.infoq.cn/article/three-apache-spark-apis-rdds-dataframes-and-datasets https://da...