Spark Core 之PV，UV

最新推荐文章于 2022-07-22 14:16:13 发布

原创最新推荐文章于 2022-07-22 14:16:13 发布 · 213 阅读

CC 4.0 BY-SA版权

本文详细介绍如何使用Apache Spark进行PV和UV统计，以及访问topN分析。通过具体代码示例，展示了SparkConf配置、SparkContext创建、数据读取、映射、聚合等关键步骤。适用于希望深入了解Spark数据处理流程的开发者。

PV 代码如下

//todo：创建sparkconf，设置appName
    //todo:setMaster("local[2]")在本地模拟spark运行 这里的数字表示 使用2个线程
    val sparkConf = new SparkConf().setAppName("PV").setMaster("local[2]")
    //todo:创建SparkContext
    val sc = new SparkContext(sparkConf)
    //todo:读取数据
    val file = sc.textFile(args(0))
//    //todo:将一行数据作为输入，输出("pv",1)
//    val pvAndOne = file.map(x=>("pv",1))
//    //todo:聚合输出
//    val totalPV = pvAndOne.reduceByKey(_+_)

    //方式二
    val totalPV1 = file.map(x => (s"pv${Random.nextInt(file.getNumPartitions)}",1)).reduceByKey(_ + _)

    val totalPV = totalPV1.map(tuple => ("pv", tuple._2)).reduceByKey(_ + _)

    totalPV.foreach(println)
    sc.stop()

UV 代码如下

 //todo:构建SparkConf和 SparkContext
    val sparkConf = new SparkConf().setAppName("UV").setMaster("local[2]")
    val sc = new SparkContext(sparkConf)
    //todo:读取数据
    val file = sc.textFile(args(0))
    //todo:对每一行分隔，获取IP地址
    val ips = file.map(_.split(" ")).map(x=>x(0))
    //todo:对ip地址进行去重，最后输出格式 ("UV",1)
    val uvAndOne = ips.distinct().map(x=>("UV",1))
    //todo:聚合输出
    val totalUV = uvAndOne.reduceByKey(_+_)
    totalUV.foreach(println)
    //todo:数据结果保存
//    totalUV.saveAsTextFile("d:\\data\\out")
    sc.stop()

访问topN

val sparkConf: SparkConf = new SparkConf().setAppName("TopN").setMaster("local[2]")
    val sc: SparkContext = new SparkContext(sparkConf)
    sc.setLogLevel("WARN")
    //读取数据
    val file: RDD[String] = sc.textFile(args(0))
    //将一行数据作为输入,输出(来源URL,1)
    val refUrlAndOne: RDD[(String, Int)] = file.map(_.split(" ")).filter(_.length>10).map(x=>(x(10),1))
    //聚合 排序-->降序
    val result: RDD[(String, Int)] = refUrlAndOne.reduceByKey(_+_).sortBy(_._2,false)
    //通过take取topN，这里是取前5名
    val finalResult: Array[(String, Int)] = result.take(5)
    println(finalResult.toBuffer)

    sc.stop()