SparkCore中的常见Transformations算子和Action算子

Transformations转换算子 ：

          Transformations类算子是一类算子（函数）叫做转换算子，如map,flatMap,reduceByKey等。Transformations算子是延迟执行，也叫懒加载执行。

       

filter 过滤符合条件的记录数，true保留，false过滤掉。   map 将一个RDD中的每个数据项，通过map中的函数映射变为一个新的元素。 特点：输入一条，输出一条数据。   flatMap 先map后flat。与map类似，每个输入项可以映射为0到多个输出项。   sample 随机抽样算子，根据传进去的小数按比例进行又放回或者无放回的抽样。   reduceByKey 将相同的Key根据相应的逻辑进行处理。 sortByKey/sortBy 作用在K,V格式的RDD上，对key进行升序或者降序排序。

 

    Action行动算子：

           Action类算子也是一类算子（函数）叫做行动算子，如foreach,collect，count等。Transformations类算子是延迟执行，Action类算子是触发执行。一个application应用程序中有几个Action类算子执行，就有几个job运行。

          

1. Action类算子

count 返回数据集中的元素数。会在结果计算完成后回收到Driver端。   take(n) 返回一个包含数据集前n个元素的集合。   first first=take(1),返回数据集中的第一个元素。   foreach 循环遍历数据集中的每个元素，运行相应的逻辑。   collect 将计算结果回收到Driver端。