蓄水池抽样算法——摘抄与问题扩展

问题概述

现实生活中经常遇到采样问题，比如：

1. 从 100000 份调查报告中抽取 1000 份进行统计；
2. 从一本很厚的电话簿中抽取 1000 人进行姓氏统计；
3. 从 Google 搜索 “Ken Thompson”，从中抽取 100 个结果查看哪些是今年的；
4. 100万人抽奖，随机抽取1000位幸运儿。

这些都是很基本的采用问题。采样问题，最重要的是做到公平，也就是保证每个元素被抽中的概率是相同的。可想而知，要实现这样的算法，就需要掷骰子，也就是随机数算法。（这里就不具体讨论随机数算法了，假定我们有了一套很成熟的随机数算法了）

第一个问题，比较简单，通过算法生成 [0,100000−1) 间的随机数 1000 个，并且保证不重复即可，再取出对应的元素即可。

但是对于第二和第三个问题，就有些不同了，我们不知道数据的整体规模有多大。可能有人会想到，我可以先对数据进行一次遍历，计算出数据的数量 N，然后再按照上述的方法进行采样即可。这当然可以，但是并不好，毕竟这可能需要花上很多时间。也可以尝试估算数据的规模，但是这样得到的采样数据分布可能并不平均。

数学模型

解决大规模总体中的抽样问题，可以使用蓄水池采样算法（Reservoir Sampling）。如果不加处理，为了保证抽样样本不重复，在最坏情况下随机算法执行字数未知。

蓄水池抽样算法

假设数据序列的规模为$n$，待采个体数量为$k$。首先构建一个可容纳$k$个元素的数组，将序列的前 $k$ 个元素放入数组中。

然后从第 $k+1$ 个元素开始，以$\frac{k}{n}$ 的概率来决定该元素是否被替换到数组中（数组中的元素被替换的概率是相同的）。 当遍历完所有元素之后，数组中剩下的元素即为所需采取的样本。
证明过程参考¹

代码实现

// Java Junit 测试
public class ReservoirSamplingTest {

    private int[] pool; // 所有数据
    private final int N = 100000; // 数据规模
    private Random random = new Random();

    @Before
    public void setUp() throws Exception {
        // 初始化
        pool = new int[N];
        for (int i = 0; i < N; i++) {
            pool[i] = i;
        }
    }

    private int[] sampling(int K) {
        int[] result = new int[K];
        for (int i = 0; i < K; i++) { // 前 K 个元素直接放入数组中
            result[i] = pool[i];
        }

        for (int i = K; i < N; i++) { // K + 1 个元素开始进行概率采样
            int r = random.nextInt(i + 1);
            if (r < K) {
                result[r] = pool[i];
            }
        }

        return result;
    }

    @Test
    public void test() throws Exception {
        for (int i : sampling(100)) {
            System.out.println(i);
        }
    }
}

问题扩展

分层抽样

问题：100万人抽奖，每个人中奖概率权重大小不同， (在1 ~ 80之间)，设计抽样算法。

参考解法:
by me
分层抽样 + 蓄水池。按权重的不同将100万人分为 80 个群体，计算每个等权重群体中所有人的权重之和，以此为依据为每个群体分配中奖名额，然后在不同群体中分别执行蓄水池算法抽满名额。

---

1. 蓄水池采样算法 ↩︎