spark dataframe base2

关注

原创最新推荐文章于 2026-08-25 20:26:09 发布 223 阅读 AI 写同款· GEO 优化 ›

Spark RDD 的 shuffle 和分区 Spark RDD 的 shuffle 和分区分区的作用 RDD 使用分区来分布式并行处理数据, 并且要做到尽量少的在不同的 Executor 之间使用网络交换数据, 所以当使用 RDD 读取数据的时候, 会尽量的在物理上靠近数据源, 比如说在读取 Cassandra 或者 HDFS 中数据的时候, 会尽量的保持 RDD 的分区和数据源的分区数, 分区模式等一一对应。分区和 Shuffle 的关系分区的主要作用是用来实现并行计算, 本质上和 Shuffle 没什么关系, 但是往往在进行数据处理的阅读详情

// 先对employee进行过滤，只统计20岁以上的员工
      emp.filter("age > 20")
      // 需要跟department数据进行join，然后才能根据部门名称和员工性别进行聚合
      // 注意：untyped join，两个表的字段的连接条件，需要使用三个等号
      .join(dep, $"depId" === $"id")
      // 根据部门名称和员工性别进行分组
      .groupBy(dep("name"), emp("gender"))
      // 最后执行聚合函数
      .agg(avg(emp("salary")), avg(emp("age")))
      // 执行action操作，将结果显示出来
      .show()