Spark【案例】——PV、UV、TopK

最新推荐文章于 2022-07-22 11:52:31 发布

原创

最新推荐文章于 2022-07-22 11:52:31 发布 · 1.1k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#spark

本文深入探讨使用Spark进行页面浏览量(PV)、独立访客数(UV)和热门排行(TopK)的计算方法，通过实例详细解释如何利用Spark的DataFrame和SQL API高效处理大数据。

/**
  * 计算pv  log日志文件中每一行记录，为一次点击记录，也就是一次pv操作
  */
object LocalPV {
   
   

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("pv").setMaster("local[2]")
    val sc = new SparkContext(conf)

    val rdd1 = sc.textFile("E:/here/ceshi/access.log")
    val rdd2 = rdd1.map(x => ("pv", 1))
    val rdd3 = rdd2.reduceByKey(_+_)