Spark-Streaming之transform操作，实时黑名单过滤案例

Transform操作，应用在DStream上时，可以用于执行任意的RDD到RDD的转换操作。它可以用于实现，DStream API中所没有提供的操作。比如说，DStream API中，并没有提供将一个DStream中的每个batch，与一个特定的RDD进行join的操作。但是我们自己就可以使用transform操作来实现该功能。

DStream.join()，只能join其他DStream。在DStream每个batch的RDD计算出来之后，会去跟其他DStream的RDD进行join。

案例：

object TransformDemo {
  def main(args: Array[String]): Unit = {
    Logger.getLogger("org").setLevel(Level.WARN)
    val config = new SparkConf().setAppName("TransformDemo").setMaster("local[2]")
    val ssc = new StreamingContext(config, Seconds(2))
    //定义黑名单数组
    val blackList = Array(("tom", true), ("jim", true))
    //黑名单RDD
    val blackListRDD = ssc.sparkContext.parallelize(blackList)
    //定义一个socket输入流
    ssc.socketTextStream("hadoop01", 8888).map(line => {
      val fields = line.split(" ")
      val name = fields(0)
      val clickDate = fields(1)
      (name, clickDate)
    }).transform(rdd => {
      //进行黑名单过滤，拿到发过来的数据和黑名单数据进行join连接
      //(tom,2017-03-02) leftOuterJoin (tom,true)  ===> (tom,(2017-03-02,Some(true)))
      rdd.leftOuterJoin(blackListRDD).filter(tuple => {
        //过滤掉黑名单里面的数据，isEmpty判断是否为null，如果是null返回true
        //过滤出这样的数据(jom,(2017-09-09,None))
        if (tuple._2._2.isEmpty) true else false
      })
    }).print()
    ssc.start()
    ssc.awaitTermination()
  }
}