SPARK TOPK程序

本文介绍两种基于Apache Spark的TopK排序实现方法:一种是通过WordCount结合Spark的sortByKey函数完成;另一种则是利用最小堆(优先级队列)进行分区内的TopK计算,再合并得出最终结果。这两种方法常应用于消费热点分析、网站点击量统计等场景。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >



第一种TOPK排序方式

整个排序取 TopK 的实现:

  • Case: 
    输入:文本文件 
    输出: 
    (158,) 
    (28,the) 
    (19,to) 
    (18,Spark) 
    (17,and) 
    (11,Hadoop) 
    (10,##) 
    (8,you) 
    (8,with) 
    (8,for)
  • 算法: 
    首先实现wordcount,topk实现是以wordcount为基础,在分词统计完成后交换key/value,然后调用sortByKey进行排序。
  • scala

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.SparkContext._


object TopK {
  def main(args: Array[String]) {
    if (args.length != 2) {
      System.out.println("Usage: <src> <num>")
      System.exit(1)
    }

    val conf = new SparkConf().setAppName("TopK")
    val sc = new SparkContext(conf)

    val lines = sc.textFile(args(0))
    val ones = lines.flatMap(_.split(" ")).map(word => (word, 1))
    val count = ones.reduceByKey((a, b) => a + b)
    val convert = count.map {
      case (key, value) => (value, key)
    }.sortByKey(true, 1)
    convert.top(args(1).toInt).foreach(a => System.out.println("(" + a._2 + "," + a._1 + ")"))
}
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 应用场景: 
    TopK模型常用于分析消费者热门消费分析、网站/博客点击量、用户浏览量分析,最新热词及热门搜索等的分析处理


第二种TOPK排序方式


基于最小堆的实现:

最大/小堆,对应的数据结构优先级队列,PriorityQueue,不光 Java 中有,Scala 中也有,当然 c++ 中也有

object TopK {

  val K = 3

  val ord = Ordering.by[(String, Int), Int](_._2).reverse

  def main(args: Array[String]) {
    // 执行 wordcount
    val conf = new SparkConf().setAppName("TopK")
    val spark = new SparkContext(conf)
    val textRDD = spark.textFile("hdfs://10.0.8.162:9000/home/yuzx/input/wordcount.txt")
    val countRes = textRDD.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _)

    // debug mapreduce 的结果
    countRes.foreach(println)

    /*
     每个 RDD 分区内进行 TOP K 计算
     需要每个分区内有自己的桶,如果整个程序使用一个 heap(将 heap 设定为成员变量) 会不正确
     为什么呢?
      */
    val topk = countRes.mapPartitions(iter => {
      val heap = new mutable.PriorityQueue[(String, Int)]()(ord)
      while (iter.hasNext) {
        val n = iter.next
        println("分区计算:" + n)
        putToHeap(heap, n)
      }

      heap.iterator
    }).collect()

    println("分区结果:")
    topk.foreach(println)

    // 每个分区的 TOP K 合并,计算总的 TopK
    val heap = new mutable.PriorityQueue[(String, Int)]()(ord)
    val iter = topk.iterator
    while (iter.hasNext) {
      putToHeap(heap, iter.next)
    }

    println("最终结果:")
    while (heap.nonEmpty) {
      println(heap.dequeue())
    }

    spark.stop()

  }

  def putToHeap(heap: mutable.PriorityQueue[(String, Int)], iter: (String, Int)): Unit = {
    if (heap.nonEmpty && heap.size >= K) {
      if (heap.head._2 < iter._2) {
        heap += iter
        heap.dequeue()
      }
    } else {
      heap += iter
    }
  }

}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值