Spark相关变换函数

最新推荐文章于 2025-04-28 11:29:15 发布

转载最新推荐文章于 2025-04-28 11:29:15 发布 · 398 阅读

CC 4.0 BY-SA版权

原文链接：https://blog.youkuaiyun.com/Jorocco/article/details/80877122

3 篇文章

订阅专栏

Spark-Rdd-Transform

map()	//对每个元素进行变换，应用变换函数
	//(T)=>V
filter()	//过滤器,(T)=>Boolean
flatMap()	//压扁,T => TraversableOnce[U]
mapPartitions()	//对每个分区进行应用变换，输入的Iterator,返回新的迭代器，可以对分区进行函数处理。
	//Iterator<T> => Iterator<U>
mapPartitionsWithIndex(func)	//同上，(Int, Iterator<T>) => Iterator<U>
sample(withReplacement, fraction, seed)	//采样返回采样的RDD子集。
	//withReplacement 元素是否可以多次采样.
	//fraction : 期望采样数量.[0,1]
union()	//类似于mysql union操作。
	//select * from persons where id < 10
	//union select * from id persons where id > 29 ;
intersection	//交集,提取两个rdd中都含有的元素。
distinct([numTasks]))	//去重,去除重复的元素。
groupByKey()	//(K,V) => (K,Iterable<V>)
reduceByKey(*)	//按key聚合。
aggregateByKey(zeroValue)(seqOp, combOp,	[numTasks])
	//按照key进行聚合
key:String U:Int = 0	//排序
sortByKey	//连接,(K,V).join(K,W) =>(K,(V,W))
join(otherDataset, [numTasks])	//协分组
cogroup	//(K,V).cogroup(K,W) =>(K,(Iterable<V>,Iterable<!-- <W> -->))
	//笛卡尔积,RR[T] RDD[U] => RDD[(T,U)]
cartesian(otherDataset)	//将rdd的元素传递给脚本或者命令，执行结果返回形成新的RDD
pipe	//减少分区
coalesce(numPartitions)	//可增可减
repartition
repartitionAndSortWithinPartitions(partitioner)	//再分区并在分区内进行排序