187、Spark 2.0之Dataset开发详解-action操作：collect、count、foreach、reduce等

最新推荐文章于 2023-04-28 16:09:26 发布

ZFH__ZJ

最新推荐文章于 2023-04-28 16:09:26 发布

阅读量2.1k

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark入坑

本文链接：https://blog.youkuaiyun.com/ZJ__ZFH/article/details/88054489

Spark入坑专栏收录该内容

207 篇文章

订阅专栏

本文详细介绍了Apache Spark中常见的Action操作，如collect、count、first、foreach、reduce和take等，通过实例展示了如何使用这些操作处理数据集，适用于Spark初学者和开发者快速上手。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

常见的action操作

collect

collect：将分布式存储在集群上的分布式数据集（比如dataset），中的所有数据都获取到driver端来

count

count：对dataset中的记录数进行统计个数的操作

first

first：获取数据集中的第一条数据

foreach

foreach：遍历数据集中的每一条数据，对数据进行操作，这个跟collect不同，collect是将数据获取到driver端进行操作
foreach是将计算操作推到集群上去分布式执行
foreach(println(_))这种，真正在集群中执行的时候，是没用的，因为输出的结果是在分布式的集群中的，我们是看不到的

reduce

reduce：对数据集中的所有数据进行归约的操作，多条变成一条

show

show，默认将dataset数据打印前20条

take

take，从数据集中获取指定条数

数据

employee.json

{"name": "Leo", "age": 25, "depId": 1, "gender": "male", "salary": 20000}
{"name": "Marry", "age": 30, "depId": 2, "gender": "female", "salary": 25000}
{"name": "Jack", "age": 35, "depId": 1, "gender": "male", "salary": 15000}
{"name": "Tom", "age": 42, "depId": 3, "gender": "male", "salary": 18000}
{"name": "Kattie", "age": 21, "depId": 3, "gender": "female", "salary": 21000}
{"name": "Jen", "age": 30, "depId": 2, "gender": "female", "salary": 28000}
{"name": "Jen", "age": 19, "depId": 2, "gender": "female", "salary": 8000}

代码

object ActionOperation {
  def main(args: Array[String]): Unit = {
    val sparkSession= SparkSession
      .builder()
      .master("local")
      .appName("ActionOperationScala")
      .getOrCreate()

    import sparkSession.implicits._
    import org.apache.spark.sql.functions._

    val employeePath = this.getClass.getClassLoader.getResource("employee.json").getPath

    val employeeDF = sparkSession.read.json(employeePath)

    employeeDF.collect().map(println(_))
    println(employeeDF.first())
    println(employeeDF.count())
    employeeDF.foreach(println(_))
    println(employeeDF.map(employee => 1).reduce(_ + _))
    employeeDF.take(3).foreach(println(_))
  }
}