本文详细介绍如何在Spark中创建键值对RDD，包括从文件加载和通过并行集合创建的方法。深入探讨了reduceByKey和groupByKey等常用转换操作，以及keys、values、sortByKey、mapValues和join等高级功能，通过综合实例展示这些操作的实际应用。
目录
2、常用的键值对RDD转换操作（reduceByKey和groupByKey）
3、keys,values.sortByKey,mapValues,join
1、创建键值对RDD
从文件加载
通过并行集合创建
2、常用的键值对RDD转换操作（reduceByKey和groupByKey）
groupByKey的valueList以Iterable的形式保存（放在Iterable容器中）
用groupByKey和reduceByKey完成词频统计
3、keys,values.sortByKey,mapValues,join
keys：把key取出形成新的RDD
values：与keys同理
sortByKey()：默认按Key升序排序（false为降序）
sortBy()：.sortBy(_._2,false)按值降序排序
mapValues(fanc)
只对value进行操作
join
4、综合实例
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
