spark中的online均值/方差统计

最新推荐文章于 2022-04-29 10:59:16 发布

原创

最新推荐文章于 2022-04-29 10:59:16 发布 · 2.8k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark #均值 #方差 #online统计 #源码

本文介绍了如何在Spark中进行在线统计，特别是均值和方差的计算。通过分布式统计方法，结合Wikipedia上的带权在线算法，实现样本合并与统计器的合并。在计算过程中，对非0样本部分进行均值和方差的处理，并在最后合并时考虑0样本的影响。此外，还涵盖了L2和L1范数以及其他统计项的计算。

1. 统计量

这个summarizer用于计算样本各维特征的均值，方差等常用统计量

class MultivariateOnlineSummarizer extends MultivariateStatisticalSummary with Serializable {
   
   

  private var n = 0
  //均值
  private var currMean: Array[Double] = _
  //用于方差统计
  private var currM2n: Array[Double] = _
  //平方和
  private var currM2: Array[Double] = _
  //L1范数
  private var currL1: Array[Double] = _
  //样本计数
  private var totalCnt: Long = 0
  //所有样本weight的和
  private var totalWeightSum: Double = 0.0
  //weight平方和，用于计算方差
  private var weightSquareSum: Double = 0.0
  //每维特征非0的权重和
  private var weightSum: Array[Double] = _
  //非0计数
  private var nnz: Array[Long] = _
  //最大值
  private var currMax: Array[Double] = _
  //最小值
  private var currMin: Array[Double] = _