Spark 常用算子

关注

转载最新推荐文章于 2026-07-19 14:56:32 发布 468 阅读 AI 写同款· GEO 优化 ›

Apache Spark的常用算子和函数将 RDD 的所有元素收集到 Driver 端，慎用（可能导致 OOM）。去重，返回元素唯一的 RDD（可能触发 Shuffle）。对 DStream 的每个 RDD 应用转换函数。对两个 KV 格式的 RDD 进行内连接。对 RDD 中的每个元素应用函数。对 RDD 的每个元素执行函数。条件的元素，返回新的 RDD。将 RDD 保存为文本文件。，再将结果展平，常用于分词。合并两个 RDD，不去重。返回 RDD 的元素个数。聚合 RDD 中的元素。（常用于输出到外部系统）。窗口内按 key 聚合。阅读详情

常用的执行算子action：
1.reduce:将我们传入的值进行一个一个的加和然后返回最终一条语句
2.collect:将RDD中所有元素获取到本地客户端
3.count :统计有几个元素，获取RDD元素总素
4.first 获取第一元素
5.take:可以获取前几个元素
6.top:可以获取前几个元素
take 与top的区别:take不会对元素进行排序而获取前几个元素，而top会对元素进行排序(降序),然后获取前几个元素
7.saveAsTextFile:将RDD元素保存到文件中，对每个元素调用toString方法
8.countByKey:对每个key对应的值进行count计算,统计相同key出现的次数
9.foreach：便利RDD中的每个元素
常用的转换算子transformation：
1.map:一对一，返回一个新的集合,将RDD中的每个元素传入自定义函数，获取一个新的元素，然后用新的元素组成新的RDD。。
2.flatmap:一对多,返回一个新的集合，以map类似，但是对每个元素都可以返回一个或多个新元素。
3.filter:对RDD中每个元素进行判断，如果返回true则保留，返回flase则去除。
4.mapToPair:获取指定key -vlaue
5.groupbykey:对key值去重，对value值相加，根据key进行分组，每个key对应一个Iterable<value>
6.reducebykey:对key值去重，对value值相加对每个对应的value进行reduce操作
7.groupby:对指定的内容进行分组
8.sortBy:对指定内容进行排序，默认升序,点reverse降序
9.sortbykey: 对指定的key值进行排序
10.values:求取key-value对的value
11.mapValues:求取key-value的的value并可以进行map操作
12.join:对两个包含<key,value>对的RDD进行join操作，每个key join上的pair，都会传入自定义函数进行处理
13，cogroup同join，但是是每个key对应的Iterable<value>都会传入自定义函数进行处理,先进行每个分区的keyvalue聚合，在进行匹配
14.leftOuterJoin：对相同key进行匹配，value相同的都显示，否则显示一个