spark join和union+reducebykey 对比

最新推荐文章于 2022-07-19 14:04:23 发布

chuya1943

最新推荐文章于 2022-07-19 14:04:23 发布

阅读量1.1k

点赞数

文章标签：大数据 scala

原文链接：https://my.oschina.net/u/2969788/blog/3094923

版权

本文对比分析了Spark中的join操作和union+reduceByKey操作在处理聚合需求时的效率和效果。join操作由于涉及两表连接，消耗性能较高，而union+reduceByKey能在map阶段预聚合，减少shuffle次数。通过具体例子，展示了union实现的DAG任务更简洁，task数量更少，执行时间通常较join更短。此外，union的输出结果通常更为集中，而join则可能导致输出文件碎片化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark join和union+reducebykey 对比

对于某些聚合需求可以用union+reducebykey的方式替换join,join将会做两个表的连接操作比较消耗新能,union+reducebykey,可以在map的端进行预聚合,然后再reduce阶段再次聚合,涉及到的shuffle较少

具体举例,需求统计每个文件夹昨天和今天的文件数相加总和

hdfsdir	filecount	day
文件夹	文件数	日期

join实现如下

package cn.x2q

import org.apache.spark.SparkConf
import org.apache.spark.internal.Logging
import org.apache.spark.sql.SparkSession

/**
  * @Auther: huowang
  * @Date: 14:15 2019/08/16
  * @DES: spark
  *       测试程序 测试  spark 的 join 和 union + reducebykey  效率
  *
  *
  * @Modified By:
  */
object TestJoin extends Logging {


  def main(args: Array[String]): Unit = {

    log.info("========