
spark
文章平均质量分 58
zerg_ling
这个作者很懒,什么都没留下…
展开
-
2. spark源码学习分享:DAGScheduler.runJob
零、前置 上一章分享了reduceByKey方法,发现transformation操作在最后只会将具体的操作记录到rdd中而并不会实际执行,函数的实际执行会延迟到spark解析到action类型操作才会触发。action类型的操作中会调用runJob将job提交到listenerBus中供listenerBus调度。本章就来详细地跟读一下runJob方法。 在跟读完本章的源码原创 2016-12-08 19:17:13 · 1048 阅读 · 2 评论 -
0. spark源码学习分享 前言
本系列文章取名叫 spark源码学习分享。之所以叫学习分享,一个原因是因为这个名字没人叫过,另一个原因是博主姿势水平有限,不敢跟其他大神一样取个解析,解读之类的名字,因此叫做学习分享。写本系列文章的目的:1、博主记忆力差,看完不记下来很快就遗忘了2、写出来与大家分享交流,如有理解错误的地方,也能够被大家及时指出,以免在错误的道路上越走越远。 文章中提到原创 2016-12-03 11:23:03 · 454 阅读 · 0 评论 -
1. spark源码学习分享:reduceByKey
前置 (已经了解的看官可以跳过第0章)spark的rdd支持两种类型的操作,分别是transformation和action操作。简单来说,transformation操作就是通过现有的rdd作一些变换之后得到一个新的rdd(例如map操作);action操作则是在rdd上作一些计算,然后将结果返回给drvier(例如reduce操作)。具体哪些操作属于transformation,哪些操作原创 2016-12-03 15:05:15 · 5327 阅读 · 0 评论