久醉绕心弦的博客

二、Transformation转换算子 ​​​​​​​2.1Value类型 2.1.1map()映射 2.1.2mapPartitions()以分区为单位执行Map 2.1.3 map()和mapPartitions()区别 2.1.4 mapPartitionsWithIndex()带分区号 2.1.5 flatMap()压平 2.1.6 glom()分区转换数组 2.1.7 groupBy()分组 groupBy会存在shuffle过程 2.1.8...

一、RDD概述 1.1 什么是RDD 1.2 RDD特性 A list of partitions （多个分区，分区可以看成是数据集的基本组成单位） 对于 RDD 来说， 每个分区都会被一个计算任务处理， 并决定了并行计算的粒度。 用户可以在创建 RDD 时指定 RDD 的分区数， 如果没有指定， 那么就会采用默认值。 默认值就是程序所分配到的 CPU Core 的数目。 每个分配的存储是由BlockManager 实现的， 每个分区都会被逻辑映射成 BlockManager 的一个