Spark常用算子之行为算子

Spark常用算子之行为算子

foreach

// foreach 没有返回值 会触发job
// 需要接收一个函数f：参数为RDD中的泛型，返回值类型为Unit

    // 1、读取students、scores数据
    val stuRDD: RDD[String] = sc.textFile("Spark/data/stu/students.txt")

    // foreach 没有返回值 会触发job
    // 需要接收一个函数f：参数为RDD中的泛型，返回值类型为Unit
    stuRDD.foreach(println)

count

// count 统计RDD中的数据条数

    // count 统计RDD中的数据条数
    println(stuRDD.count())

collect

// collect 将RDD中的数据转换成scala中的数组
// 使用时注意数据量的大小

    // collect 将RDD中的数据转换成scala中的数组
    // 使用时注意数据量的大小
    val stuArr: Array[String] = stuRDD.collect()

    val blackListRDD: RDD[String] = sc.parallelize(List("1500100001", "1500100007", "1500100009"))

    val blacklistArr: Array[String] = blackListRDD.collect()

    stuRDD.filter(line => {
   
      // 在一个RDD中不能直接使用另一个RDD
      /**
        * 1、RDD是一个抽象的编程模型，没有实现序列化的
        * 2、如果在Task中使用另一个RDD，那么这个RDD的转换以及Action由谁进行调度或资源申请呢？
        */