spark抽样之蓄水池抽样

最新推荐文章于 2024-06-30 18:32:44 发布

原创

最新推荐文章于 2024-06-30 18:32:44 发布 · 2.1k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#spark #抽样 #蓄水池抽样

本文探讨Spark随机森林中蓄水池抽样的应用，特别是在特征集抽样中的作用。文章详细解释了蓄水池抽样的概念，即在数据流中进行等概率抽样，并证明了其等概率性。此外，还介绍了Spark源码中蓄水池抽样的具体实现，主要集中在SamplingUtils的reservoirSampleAndCount函数。

spark随机森林的实现中用到了蓄水池抽样，主要是用在特征集抽样中，本文对蓄水池抽样的原理和spark源码进行简单分析。
1. 蓄水池抽样
形象的说，所谓蓄水池抽样就像是在向池中加水的过程中进行抽样，类比于对数据流进行抽样。前提是我们知道要抽取的样本量，但是很难知道样本空间的规模，比如流式数据，或者样本空间较大，遍历一遍代价较高，因此无法计算其抽取概率或比例，不能用常规的方法抽取数据。蓄水池抽样能在o(n)的复杂度对数据进行等概率抽样，其伪代码描述如下

sample size: k
for i = 0 to N
    if i < k
        choose ith value
    else
        M = random(0,i)
        if M < k
            swap Mth value and ith value
end for<