SparkStreaming 根据指定字段进行去重，并保留时间为最新的那条记录(消费Kafka版本为 0.10)

        // 对数据进行过滤，取时间为最新的那条记录
        val inputFilterIterable: RDD[(String, String)] = inputFeedRDD.map(inputRDD => {

          val a: ConsumerRecord[String, String] = inputRDD

          val inputString: String = inputRDD.value()

          val inputDataJson: JSONObject = JSON.parseObject(inputString)

          val feedBackJavaBean: FeedbackDTO = JSON.parseObject(inputString, classOf[FeedbackDTO])

          (feedBackJavaBean.getROW_ID.trim + feedBackJavaBean.getLAST_UPD_DATE, inputString)
        })
          .reduceByKey((v1, v2) => {

            // 相同去重关键字的数据，对时间字段进行比较，保留时间最大的
            val key: FeedbackDTO = JSON.parseObject(v1, classOf[FeedbackDTO])
            val value: FeedbackDTO = JSON.parseObject(v2, classOf[FeedbackDTO])

            if (key.getLAST_UPD_DATE.toString >= value.getLAST_UPD_DATE.toString()) {
              v1
            }
            else {
              v2
            }
          })