RDD 案例 - 数据清洗

数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序 ，包括检查数据一致性，处理无效值和缺失值等。使用 RDD 进行数据清洗案例：
假设有一个包含学生成绩信息的 RDD，数据格式为 (学生 ID, 课程名，成绩) ，其中存在一些成绩为负数（不合理值）和缺失值（null）的数据。

scala

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object DataCleaning {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("DataCleaning").setMaster("local[*]")
    val sc = new SparkContext(conf)

    val rawData: RDD[(String, String, Option[Double])] = sc.parallelize(Seq(
      ("001", "Math", Some(85)),
      ("002", "English", None),
      ("003", "Science", Some(-5)),
      ("004", "History", Some(70))
    ))

    // 清洗数据：过滤掉成绩为负数和缺失值的数据
    val cleanData: RDD[(String, String, Double)] = rawData.filter {
      case (_, _, Some(score)) if score >= 0 => true
      case _ => false
    }.map {
      case (id, course, Some(score)) => (id, course, score)
    }

    cleanData.foreach(println)
    sc.stop()
  }
}

上述代码中，先创建包含脏数据的 RDD，然后通过 filter 算子过滤掉成绩为负数和缺失值的数据，再通过 map 算子整理数据格式，完成数据清洗。