Spark独到见解--Transformation算子总结

Transformation类算子:

概念:

Transformations类算子是一类算子(函数)叫做转换算子,如map,flatMap,reduceByKey等。Transformations算子是延迟执行,也叫懒加载执行。

1、 filter

过滤符合条件的记录数,true保留,false过滤掉。

2、map

将一个RDD中的每个数据项,通过map中的函数映射变为一个新的元素。

特点:输入一条,输出一条数据。

3、 flatMap

先map后flat。与map类似,每个输入项可以映射为0到多个输出项。

4、sample

随机抽样算子,根据传进去的小数按比例进行又放回或者无放回的抽样。

 

5、 reduceByKey

相同的Key根据相应的逻辑进行处理。

6、sortByKey/sortBy

作用在K,V格式的RDD上,对key进行升序或者降序排序。

7、join,leftOuterJoin,rightOuterJoin,fullOuterJoin

作用在K,V格式的RDD上。根据K进行连接,对(K,V)join(K,W)返回(K,(V,W))

join后的分区数与父RDD分区数多的那一个相同。

8、union

合并两个数据集。两个数据集的类型要一致。

返回新的RDD的分区数是合并RDD分区数的总和

9、intersection

取两个数据集的交集

10、subtract

取两个数据集的差集

11、mapPartition

与map类似,遍历的单位是每个partition上的数据。

12、distinct

相当于map+reduceByKey(见5)+map

13、 cogroup

当调用类型(K,V)和(K,W)的数据上时,返回一个数据集(K,(Iterable<V>,Iterable<W>))

14、mapPartitionWithIndex

类似于mapPartitions,除此之外还会携带分区的索引值。

15、 repartition

增加或减少分区。会产生shuffle。(多个分区分到一个分区不会产生shuffle

16、 coalesce

coalesce常用来减少分区,第二个参数是减少分区的过程中是否产生shuffle。

true为产生shuffle,false不产生shuffle。默认是false

如果coalesce设置的分区数比原来的RDD的分区数还多的话,第二个参数设置为false不会起作用,

如果设置成true,效果和repartition一样。即repartition(numPartitions)= coalesce(numPartitions,true)

17、groupByKey

作用在K,V格式的RDD上。根据Key进行分组。作用在(K,V),返回(K,Iterable <V>)。

18、zip

将两个RDD中的元素(KV格式/非KV格式)变成一个KV格式的RDD,两个RDD的个数必须相同。

19、 zipWithIndex

该函数将RDD中的元素和这个元素在RDD中的索引号(从0开始)组合成(K,V)对。





评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值