spark那些年

1 spark 2.3 引入了 structorstreaming , 有了 微批处理 ，和flink 实时诧异在一个基于RDD，一个基于事件编程，都有checkpoint 注册，spark的checkpoint 需要 手动设置，对于宽依赖数据，恢复数据占用消耗较大，flink只需设置check point 环境 变量。

2 spark= DAG + Executor + Driver + parallel + 算子 + checkpoint + cache (prisist)

3 spark组建： mlib ，core，sql，graphe

4 spark 的操作类型 ，创建create ，转换tranform，持久化prisist,