- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 源码读懂spark怎样划分宽、窄依赖
spark 是按照 当前RDD 与父RDD的依赖关系来划分的stage的，如果宽依赖则划分为不同stage，如果是窄依赖则在为同一个stage中的pipeline。具体示例图如下： 那具体RDD的依赖关系是由谁来决定的呢？我们从源码来分析。 1、RDD 首先我们RDD，RDD的默认构造函数 由两个成员变量，一个是SparkContext ，另一个是deps:Seq[Dependency[_]],其中deps 就是RDD与所有父RDD的依赖关系。 abstract class RDD...
2020-07-19 15:18:14
552
原创 Mapreduce 过程中 使用List保存Text元素被修改
发现在reduce过程中使用List保存Text的列表会出现元素替换的问题。大家有没有遇到，大神是否能指出其中的原因。
2017-11-22 11:15:12
866
2
spark-assembly-1.3.0-hadoop2.5.0-cdh5.3.0.jar的下载地址和提取码
spark-assembly-1.3.0-hadoop2.5.0-cdh5.3.0.jar的下载地址和提取码
2015-01-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人