蓄水池采样原理

最新推荐文章于 2025-07-13 18:18:52 发布
最新推荐文章于 2025-07-13 18:18:52 发布
阅读量2.1k 收藏 3
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 数据结构与算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jingshuiliushen_zj/article/details/83584567
蓄水池采样算法在大数据集（长度未知）中实现等概率随机抽取样本。首先选择第一个对象，随后以1/(n+1)的概率选择下一个，确保每个对象被选中的概率为1/n。当需要抽取k个样本时，先取前k个，之后以k/(k+1)的概率选择新样本并可能替换已选中的一个，保证每个样本的选取概率为k/n。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、原理
蓄水池采样算法解决的是在给定但长度未知的大数据集中，随机等概率抽取一个数据。如果知道数据集的长度，可以用随机数rand()%n得到一个确切的随机位置，那么该位置的对象就是所求的对象，选中的概率是1/n。那长度未知该如何取？尤其是如果这个大数据集不能一次性放入内存中，蓄水池采样算法就非常有用了。

算法思路：我们总是选择第一个对象，以1/2的概率选择第二个，以1/3的概率选择第三个，以此类推，以1/m的概率选择第m个对象。当该过程结束时，每一个对象具有相同的选中概率，即1/n。

证明：第m个对象最终被选中的概率P=选择m的概率*其后面所有对象不被选择的概率，即
1m×(mm+1×m+1m+2×...×n−1n)=1n\frac{1}{m}\times(\frac{m}{m+1}\times\frac{m+1}{m+2}\times...\times\frac{n-1}{n})=\frac{1}{n}m1​×(m+1

最低0.47元/天 解锁文章

200万优质内容无限畅学
Python 蓄水池算法详解及源码
希望我的博客，能帮上你解决学习中工作中所遇到的问题
08-07 330
蓄水池算法的基本原理是：对于数据流中的第i个元素，以1/i的概率选择它作为样本，以1-1/i的概率保持原有的样本。蓄水池算法的基本原理是：对于数据流中的第i个元素，以1/i的概率选择它作为样本，以1-1/i的概率保持原有的样本。蓄水池算法的基本原理是：对于数据流中的第i个元素，以1/i的概率选择它作为样本，以1-1/i的概率保持原有的样本。蓄水池算法的基本原理是：对于数据流中的第i个元素，以1/i的概率选择它作为样本，以1-1/i的概率保持原有的样本。
面试常考蓄水池算法详解
wwxy1995的博客
11-08 4170
问题描述分析： 采样问题经常会被遇到，比如： 1. 从 100000 份调查报告中抽取 1000 份进行统计； 2. 从一本很厚的电话簿中抽取 1000 人进行姓氏统计； 3. 从 Google 搜索 "Ken Thompson"，从中抽取 100 个结果查看哪些是今年的。 既然说到采样问题，最重要的就是做到公平，也就是保证每个元素被采样到的概率是相同的。所以可以想到要想实现这样的算法，...
蓄水池抽样算法（Reservoir Sampling）
shanhai3000的博客
07-15 649
蓄水池抽样算法（Reservoir Sampling）问题描述问题分析代码实现数学证明 问题描述 给定一个数据流，数据流长度N很大，且长度不可预知。问如何在仅遍历一次数据的情况下，如何等概率 抽取m个样本。 问题分析 首先明确概念：等概率抽样是一种抽样方法，是指总体中的每个个体被抽中的概率相等。 关键点： N很大且不可预知，故无法一次性读入内存； 抽样的时间复杂度为O(N)； m个样本，每个样本被选取的概率为m/n； 代码实现 int[] reservoir = new int[m];//reservo
Reservior Sampling(蓄水池采样) in Data Streams
Mr_Lyang的博客
05-30 1917
引言在统计学习里面，采样通常分为两类，unbiased Sample(无偏采样)和biased Sample(无偏采样)。本文介绍的蓄水次采样就是一种无偏采样算法。它的特点是在对不知道样本总体个数或者样本总体个数太大，大到无法全部存放在内存中的情况下，可以保证每个样本被选取的概率是一样的，为K/N，其中K为“蓄水池”的大小，N为当前数据流中包含的样本个数。 算法描述假设有一个数据流，其中包含的样本
【算法】蓄水池抽样算法
最新发布
qq_73127416的博客
07-13 684
摘要： 蓄水池抽样算法用于从未知长度的数据流中均匀采样k个元素，适用于大数据实时处理。核心思路是： 初始将前k个元素存入结果数组 对第i（i>k）个元素，生成随机数j∈[0,i)，若j<k则替换结果数组第j位 通过概率分析证明每个元素最终被采样的概率均为k/n 算法扩展包括加权版本（按权重概率采样）和分布式版本（多节点协同采样）。Go代码实现展示了基础算法及其变种。
蓄水池抽样算法 (Reservoir Sampling Algorithm)
Astolfo
01-10 538
在一个给定长度的数组中随机等概率抽取一个数据很容易，但如果面对的是长度未知的海量数据流呢？蓄水池采样(Reservoir Sampling)算法就是来解决这个问题的, 它在分析一些大数据集的时候非常有用。 基本概念 细看后，我们可以对其进行扩展，假如从未知或者很大样本空间随机地取k个数？ 　　类比下即可得到答案，即先把前k个数放入蓄水池，对第k+1，我们以
蓄水池算法证明
acsunqi的博客
10-27 642
蓄水池算法 蓄水池算法是一种大数据随机抽样算法,对于海量流式数据,在未知数据规模(N)的情况下.对数据样本进行随机选取k个样本,来达到均匀抽样的目的:对于每个样本被选择的概率都是Pxi被选择=knP_{x_i被选择}=\frac{k}{n}Pxi​被选择​=nk​. 算法 int a[k]={x1,x2,....,xk} //用数据流中的前k个数来初始化一个容量为k的数组 for i = k t...
储水池抽样算法原理与实现
晓风残月xj
10-18 2972
记得在实习那会，涉及到抽奖的解决方案，即一天以k/n的概率中奖，要求给出简单高效的算法，其中n只有在结束时才知道。换言之，题意即为如何从未知或者很大样本n空间中随机地取k个数，保证每个被取到的概率为n/k。解决此题的很好方法就是储水池算法Reservoir Sampling Algorithm。
蓄水池采样
qq_43807092的博客
10-18 393
蓄水池采样前言一、蓄水池抽样算法原理二、题目练习1.链表随机节点3822.随机数索引(398)总结 前言 给定一个数据流，数据流长度NNN非常大，且NNN直到处理完所有数据之前都不可知，要求遍历一遍就可以找到目标值。 一、蓄水池抽样算法原理 原理：蓄水池抽样是一系列的随机算法，其目的在于从包含 nnn个项目的集合 SSS 中选取 kkk 个样本，其中 nnn 为一很大或未知的数量，尤其适用于不能把所有 nnn 个项目都存放到内存的情况。 二、题目练习 1.链表随机节点382 给定一个单链表，随机选择链
JAVA学习-蓄水池抽样算法
qq_48772498的博客
01-16 1055
生活中无时不刻都在发生着随机事件，我们并不能改变它的随机性，但是我们可以尝试利用它的概率去做更多有意义的事情。比如有一个高 10 米的蓄水池，我们需要对随机一个 1 米的水层进行抽样，这时候很多人都会想到直接生成一个 (0, 10] 的随机数就可以解决，那么要是把高 10 米的条件去掉呢？这显然就不是一个随机数就能解决的了，这时候就得轮到今天的主角——蓄水池抽样算法登场了。 蓄水池抽样算法是一种不用知道蓄水池深度就可以达到抽样效果的算法，他的核心在于按每一层循序依次进行抽样，不同层的抽样计算如下： 如果
蓄水池算法leetcode-randomized-algorithm:随机算法
06-30
蓄水池算法leetcode 固定范围采样 输入大小为 n 个项目 获取 0 到 n -1 之间的随机数 根据输入返回项目[索引] 油藏取样 概括 n项的流 n不知道提前 每个项目结果的概率相等 算法 水库采样算法旨在从未知大小的总体中采样 k 个元素。 算法 R 变体 # S has items to sample, R will contain the result def ReservoirSample(S[1..n], R[1..k]) # fill the reservoir array for i := 1 to k R[i] := S[i] # replace elements with gradually decreasing probability for i := k+1 to n # randomInteger(a, b) generates a uniform integer from the inclusive range {a, ..., b} *) j := randomInteger(1, i) if j <= k R[j] := S[i] 我们总结算法的
蓄水池算法leetcode-tech_interview_prep:技术面试准备
06-30
蓄水池算法leetcode 技术面试准备计划 从零开始学习数据结构和算法 如何： 数据结构：记笔记，画概念 此数据结构的算法：记笔记，绘制概念 从零开始实现数据结构及其算法 实施例程： 阅读问题说明 编写单元测试：极端情况、一般用法、压力测试 设计问题解决方案 在IDE中编写代码 测试一下 工具： 单元测试系统 瓦尔格林德 调试 探查器 模块： 大批 堆 队列 德克 链表 堆 递归 优先队列和不相交集 哈希表 树木 贪心算法 分而治之 排序和搜索 动态规划 图形 细绳 线性规划 NP完全 在 LeetCode 上练习解决问题 如何： 学习新技术的概念，如果它是新的：记笔记，画概念 为每个模块解决 15 个问题\技术：5 容易，5 中等，5 困难 实施例程： 阅读问题说明 编写单元测试：极端情况，一般用法 设计问题解决方案 在纸上写代码 用单元测试测试它 在IDE中编写压力测试 在IDE中编写解决方案 测试一下 技巧： 两个指针 回溯 滑动窗口 极小极大 随机的 拒绝抽样 水库采样 背诵 脑筋急转弯 几何学 组合学 数学 位操作 动态规划 分而治之 贪婪的 模块： 大批 细绳 树 哈希表
蓄水池抽样算法 从n个数中随机取m个数（JAVA实现）
qq_41800087的博客
04-20 2340
实际问题 从n个数据中随机取得m个数，n>m 算法大概思路 源数据的数组为a[] 大小为n “水池”即存放取出的数据的数组为b[] 大小为m 若要做到随机 则每个数据被选中的概率则为m/n 进行如下操作 ①对数组a[]进行遍历，设置j为遍历时当前元素下标，将a[]数组的前m个数据依次存入数组b[]中，此操作a[]数组中的前m个数被加入b[]数组的概率为100...
蓄水池抽样 均匀抽样
linuxerhqt的专栏
10-18 1715
前段时间在BBS上看见一个问题：     如何等概率的从N个元素中选取出K个元素？ 这个问题就是一个蓄水池抽样（Reservoir Sampling），算法可以如下描述：  Init : a reservoir with the size： k
Reservoir Sampling - 蓄水池抽样
weixin_34185364的博客
09-07 235
参考自：https://blog.youkuaiyun.com/huagong_adu/article/details/7619665 和http://www.cnblogs.com/HappyAngel/archive/2011/02/07/1949762.html 问题：如何随机从n个对象中选择一个对象，这n个对象是按序排列的，但是在此之前你是不知道n的值的。 思路：如果我们知道n的...
蓄水池抽样
高性能架构探索
07-28 977
问题 1、给定一个数据流，数据流长度N很大，且N直到处理完所有数据之前都不可知，请问如何在只遍历一遍数据（O(N)）的情况下，能够随机选取出m个不重复的数据 2、在不知道文件行数的情况下，如何在只遍历一遍文件的情况下，随机选取出m行 分析 看到此种问题，我们的第一想法是，把数据流中的数据保存起来，然后通过把数据流中的数据存储起来，然后进行随机获取，我们以leetcode中的某个题目为例，代码如下： classSolution{ public: /**@paramheadTh...
蓄水池抽样——《编程珠玑》读书笔记
热门推荐
Stay hungry, Stay foolish
05-31 3万+
问题：如何随机从n个对象中选择一个对象，这n个对象是按序排列的，但是在此之前你是不知道n的值的。         思路：如果我们知道n的值，那么问题就可以简单的用一个大随机数rand()%n得到一个确切的随机位置，那么该位置的对象就是所求的对象，选中的概率是1/n。         但现在我们并不知道n的值，这个问题便抽象为蓄水池抽样问题，即从一个包含n个对象的列表S中随机选取k个对象，n为一
蓄水池抽样的原理
expleeve
04-10 2827
问题起源于编程珠玑Column 12中的题目10，其描述如下： How could you select one of n objects at random, where you see the objects sequentially but you do not know the value of n beforehand? For concreteness, how would yo
382.链表随机节点
zrh_优快云的博客
11-11 308
给定一个单链表，随机选择链表的一个节点，并返回相应的节点值。保证每个节点被选的概率一样。 进阶: 如果链表十分大且长度未知，如何解决这个问题？你能否使用常数级空间复杂度实现？ 示例: // 初始化一个单链表 [1,2,3]. ListNode head = new ListNode(1); head.next = new ListNode(2); head.next.next = new ...
蓄水池算法
03-08
### 蓄水池抽样算法原理 蓄水池抽样算法是一种用于从流数据中随机抽样的算法。其核心思想在于，当面对一个非常大的数据集而内存无法承载全部数据时，可以仅保留一定数量的数据，并按特定概率对新到来的数据进行采样[^2]。 具体来说，对于每一个新的元素，会以 \( \frac{k}{i} \) 的概率决定是否将其加入到大小为 k 的样本集合（即所谓的“蓄水池”）之中；这里的 i 表示当前处理的是第几个元素，k 则表示希望抽取多少个样本。这种机制确保了即使不知道整个输入序列的具体长度也能均匀地从中选取样本[^3]。 #### 数学解释 为了理解为什么这种方法能够保证每个项目被选入的概率相等，考虑前 i 个项目出现在蓄水池里的可能性由两方面构成： - 在第 i+1 次选择之前已经在蓄水池里； - 不会在第 i+1 次的选择过程中被淘汰出去。 因此，通过这种方式构建起来的过程能使得所有项目的入选几率保持一致[^4]。 ### Java 实现案例 针对不同情况下的蓄水池抽样需求，以下是两个具体的Java实现版本： #### 当 `K>1` 时的完整版 ```java import java.util.Random; public class ReservoirSampling { private final int[] reservoir; private final Random random = new Random(); private int count = 0; public ReservoirSampling(int size) { this.reservoir = new int[size]; } public void addElement(int element) { if (count < reservoir.length) { reservoir[count++] = element; } else { int r = random.nextInt(count); if (r < reservoir.length) { reservoir[r] = element; } } count++; } @Override public String toString() { StringBuilder sb = new StringBuilder("["); for (int value : reservoir) { sb.append(value).append(", "); } return sb.substring(0, Math.max(sb.length() - 2, 0)) + "]"; } } ``` 这段代码展示了如何在一个未知规模的数据流上执行固定大小为 K 的简单无放回随机抽样操作。 #### LeetCode 应用实例 在实际应用中，蓄水池抽样也被广泛应用于解决各种编程挑战问题，比如 LeetCode 上编号为 398 和 382 的题目分别涉及到了基于权重的随机挑选以及链表结构上的节点随机访问等问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值