jacobwe的博客

1 spark 2.3 引入了 structorstreaming , 有了 微批处理 ，和flink 实时诧异在一个基于RDD，一个基于事件编程，都有checkpoint 注册，spark的checkpoint 需要 手动设置，对于宽依赖数据，恢复数据占用消耗较大，flink只需设置check point 环境 变量。 2 spark= DAG + Executor + Driver + parallel + 算子 + checkpoint + cache (prisist) 3 spark组建：

任务提交方式 sudo -u hadoop /srv/soft/spark-2.4.0-bin-hadoop2.7/bin/spark-submit –master yarn –deploy-mode cluster –num-executors 5 –driver-memory 1g –executor-memory 1g –executor-cores 1 –files /srv...

#!/usr/bin/python udf 函数 在调取接口的时候会有并发，可以用sleep去做时间均衡～ sleep 函数的详解，程序将 print “Start : %s” % time.ctime() time.sleep( 5 ) print “End : %s” % time.ctime() ...