weixin_42135730的博客

原创 Spark中划分stage的规则

RDD操作 转化（Transformation）：泛指接收RDD作为输入，并输出RDD的函数。被划分为窄依赖和宽依赖。 行为（Action）：将RDD转化为非RDD的变量的操作。通常用于返回RDD计算的最终结果。 窄依赖和宽依赖 窄依赖（Narrow Dependencies）：父RDD集的一个分区最多被子RDD集的一个分区所依赖。 常见的有map, flatMap, filte...