SPARK2.1源码探读
关注
分享
扫一扫
谭正强
一个不愿在枯燥的日子里自废武功，同时对技术有点追求的 Java、大数据程序员。永远对牛人心生敬仰，对自己不甘平庸。
人到中年，太多的无奈驱使我无法专心做技术，但是在这里我希望这颗心可以纯粹点，聊点对技术的热爱，反省下当下的人生。
展开
-
001-SPARK2.1-core--SparkConf
一、spark中的配置classpath: core/src/main/scala/org/apache/spark/SparkConf.scala private val settings = new ConcurrentHashMap[String, String]()由上面可以看到，Spark的所有配置无论key和value都是String类型且存储在并发的HashMap中。1.1 加载以s...原创 2018-05-20 17:33:26 · 316 阅读 · 0 评论 -
SparkStreaming 状态管理函数比较
一、updateStateByKey官网原话：In every batch, Spark will apply the state update function for all existing keys, regardless of whether they have new data in a batch or not. If the update function returns None...原创 2018-06-05 16:10:04 · 1085 阅读 · 0 评论