SparkStreaming 根据指定字段进行去重，并保留时间为最新的那条记录(消费Kafka版本为 0.10)

最新推荐文章于 2023-12-14 15:21:37 发布

原创最新推荐文章于 2023-12-14 15:21:37 发布 · 2.2k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#Spark

Spark 同时被 3 个专栏收录

19 篇文章

订阅专栏

Streaming

1 篇文章

订阅专栏

Kafka0.10

1 篇文章

订阅专栏

博客虽未给出具体内容，但从标签可知与Spark有关。Spark是大数据开发领域重要技术，可用于数据处理、分析等。

        // 对数据进行过滤，取时间为最新的那条记录
        val inputFilterIterable: RDD[(String, String)] = inputFeedRDD.map(inputRDD => {

          val a: ConsumerRecord[String, String] = inputRDD

          val inputString: String = inputRDD.value()

          val inputDataJson: JSONObject = JSON.parseObject(inputString)

          val feedBackJavaBean: FeedbackDTO = JSON.parseObject(inputString, classOf[FeedbackDTO])

          (feedBackJavaBean.getROW_ID.trim + feedBackJavaBean.getLAST_UPD_DATE, inputString)
        })
          .reduceByKey((v1, v2) => {

            // 相同去重关键字的数据，对时间字段进行比较，保留时间最大的
            val key: FeedbackDTO = JSON.parseObject(v1, classOf[FeedbackDTO])
            val value: FeedbackDTO = JSON.parseObject(v2, classOf[FeedbackDTO])

            if (key.getLAST_UPD_DATE.toString >= value.getLAST_UPD_DATE.toString()) {
              v1
            }
            else {
              v2
            }
          })