Spark统计类StatCounter类

最新推荐文章于 2022-05-08 17:20:10 发布

偷偷放晴的天空

最新推荐文章于 2022-05-08 17:20:10 发布

阅读量1.1k

点赞数

分类专栏： Spark

本文链接：https://blog.youkuaiyun.com/sinat_35045195/article/details/86693195

版权

Spark 专栏收录该内容

29 篇文章

订阅专栏

本文介绍如何使用Apache Spark中的StatCounter类进行数据统计，包括计数、最大值、最小值、平均值和求和，同时演示了如何统计值为0和非0数据的统计特性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

statCounter

org.apache.spark.util包中一个用于统计的类，这个类可以对一组数字进行统计追踪，可以统计他的计数，最大值，最小值，平均值，求和，以及可以合并两个追踪的结果merge。

example：统计一下不为0的数字和为0的数值的代码如下

package demo

import java.text.SimpleDateFormat
import java.util.Date
import java.time.LocalDate
import java.time.format.DateTimeFormatter
import java.util.Calendar
import java.util.Locale
import java.time.temporal.ChronoUnit
import org.apache.spark.sql.SparkSession
import org.apache.spark.SparkConf
import java.io.File
import org.apache.spark.util.StatCounter

object Test {
  def main(args: Array[String]): Unit = {

    System.setProperty("hadoop.home.dir", "F:\\dependies\\winutils\\hadoop-2.7.1")
    val conf = new SparkConf().setAppName("test").setMaster("local[2]")
    val spark = SparkSession.builder()
    .config(conf)
    .enableHiveSupport()
    .getOrCreate()
    val data = spark.sparkContext.parallelize(Seq(1,5,63,1,6,0,54,74,874,4,0),2)
    val res1 = data.map(myStatCount(_))
    val res2 = res1.reduce((x,y)=>x.merge(y))
    println
    data.foreach(println)
    res1.foreach(println)
    println
    println(res2)
  }
  class myStatCount extends Serializable{
    val stats = new StatCounter()
    var num_empty = 0L
    def add(x:Double):myStatCount = {
      if(x != 0) {
        stats.merge(x)
        } else {
          num_empty = num_empty + 1
        }
      this
    }
    def merge(other:myStatCount):myStatCount= {
      this.stats.merge(other.stats)
      num_empty = other.num_empty + num_empty
      this
    }
    override def toString()={
      s"stats = ${stats.toString()},num_empty = ${num_empty.toString}"
    }
  }
 object myStatCount extends Serializable{
    def apply(x:Double)= new myStatCount().add(x)
  }
}

这样就可以统计所有值为0的数据的个数。和值不为0的数据的最大值、最小值、平均值等