蓄水池采样

最新推荐文章于 2021-07-28 09:28:28 发布

原创最新推荐文章于 2021-07-28 09:28:28 发布 · 175 阅读

0 ·

CC 4.0 BY-SA版权

杂文专栏收录该内容

9 篇文章

订阅专栏

本文介绍了一种从大量数据流中随机抽取固定大小样本的算法——蓄水池抽样。该算法通过类比向池中加水的过程，有效地解决了在无法预知数据流长度的情况下进行抽样的难题。

蓄水池采样

蓄水池抽样就像是在向池中加水的过程中进行抽样，类比于对数据流进行抽样。

N是总共样本个数；k是从中采样k个样本；

sample size: k
for i = 0 to N
    if i < k
        choose ith value
    else
        M = random(0,i)
        if M < k
            swap Mth value and ith value
end for

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

smartcat2010

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Python 蓄水池算法详解及源码

希望我的博客，能帮上你解决学习中工作中所遇到的问题

08-07

462

蓄水池算法的基本原理是：对于数据流中的第i个元素，以1/i的概率选择它作为样本，以1-1/i的概率保持原有的样本。蓄水池算法的基本原理是：对于数据流中的第i个元素，以1/i的概率选择它作为样本，以1-1/i的概率保持原有的样本。蓄水池算法的基本原理是：对于数据流中的第i个元素，以1/i的概率选择它作为样本，以1-1/i的概率保持原有的样本。蓄水池算法的基本原理是：对于数据流中的第i个元素，以1/i的概率选择它作为样本，以1-1/i的概率保持原有的样本。

Reservior Sampling(蓄水池采样) in Data Streams

Mr_Lyang的博客

05-30

1960

引言在统计学习里面，采样通常分为两类，unbiased Sample(无偏采样)和biased Sample(无偏采样)。本文介绍的蓄水次采样就是一种无偏采样算法。它的特点是在对不知道样本总体个数或者样本总体个数太大，大到无法全部存放在内存中的情况下，可以保证每个样本被选取的概率是一样的，为K/N，其中K为“蓄水池”的大小，N为当前数据流中包含的样本个数。算法描述假设有一个数据流，其中包含的样本

参与评论您还未登录，请先登录后发表或查看评论

蓄水池抽样均匀抽样

linuxerhqt的专栏

10-18

1736

前段时间在BBS上看见一个问题：如何等概率的从N个元素中选取出K个元素？这个问题就是一个蓄水池抽样（Reservoir Sampling），算法可以如下描述： Init : a reservoir with the size： k

Reservoir Sampling - 蓄水池抽样

weixin_34185364的博客

09-07

247

参考自：https://blog.youkuaiyun.com/huagong_adu/article/details/7619665 和http://www.cnblogs.com/HappyAngel/archive/2011/02/07/1949762.html 问题：如何随机从n个对象中选择一个对象，这n个对象是按序排列的，但是在此之前你是不知道n的值的。思路：如果我们知道n的...

蓄水池采样法

creater_X

09-10

1139

看到一个非常有趣的题目，学会了一个非常巧妙的算法：如何从n个数中随机的选择k个数？如果采用直接产生随机数的方法，当n和m都很大时，随机数产生重复的概率会很大，算法性能会大大降低。这里采用蓄水池算法，算法代码很简答，假设从n个数中选择k个数： for (int i=k+1;i<=n;i++) { int p=rand(1,i); if (

python蓄水池采样算法代码

最新发布

09-20

Python中，蓄水池采样（Reservoir Sampling）算法是一种在线随机抽样方法，用于从大规模数据流中抽取固定大小（n）的样本，而不需要一次性加载所有数据。这个算法非常高效，因为它每次只处理一个元素。以下是简单...

蓄水池采样原理

jingshuiliushen_zj的博客

11-01

2196

一、原理 蓄水池采样算法解决的是在给定但长度未知的大数据集中，随机等概率抽取一个数据。如果知道数据集的长度，可以用随机数rand()%n得到一个确切的随机位置，那么该位置的对象就是所求的对象，选中的概率是1/n。那长度未知该如何取？尤其是如果这个大数据集不能一次性放入内存中，蓄水池采样算法就非常有用了。算法思路：我们总是选择第一个对象，以1/2的概率选择第二个，以1/3的概率选择第三个，以此类推...

蓄水池抽样

高性能架构探索

07-28

999

问题 1、给定一个数据流，数据流长度N很大，且N直到处理完所有数据之前都不可知，请问如何在只遍历一遍数据（O(N)）的情况下，能够随机选取出m个不重复的数据 2、在不知道文件行数的情况下，如何在只遍历一遍文件的情况下，随机选取出m行分析看到此种问题，我们的第一想法是，把数据流中的数据保存起来，然后通过把数据流中的数据存储起来，然后进行随机获取，我们以leetcode中的某个题目为例，代码如下： classSolution{ public: /**@paramheadTh...

382.链表随机节点

zrh_优快云的博客

11-11

321

给定一个单链表，随机选择链表的一个节点，并返回相应的节点值。保证每个节点被选的概率一样。进阶: 如果链表十分大且长度未知，如何解决这个问题？你能否使用常数级空间复杂度实现？示例: // 初始化一个单链表 [1,2,3]. ListNode head = new ListNode(1); head.next = new ListNode(2); head.next.next = new ...

蓄水池取样(Reservoir sampling)

console_log的博客

05-19

661

Reservoir samplingis a family ofrandomized algorithmsfor choosing asimple random sample, without replacement, ofkitems from a population of unknown sizenin a single pass over the items. The size of the populationnis not known to the algorithm and...

浅谈流处理算法 (1) – 蓄水池采样

茅坤宝骏氹的博客

08-20

1112

转载自浅谈流处理算法 (1) – 蓄水池采样前言现如今，“大数据 ”已经不是什么新概念，“一千个人眼中有一千个大数据”。社交网络，智能穿戴设备，智能家居，传感器，机器人等每一个热门的词汇背后都是大量的数据。抛开各种噱头和概念，相信每个人都能看到数据的价值，且能感受到数据规模的爆炸式增长。大规模的数据本身并不产生什么价值，只有通过理解数据，发现知识，避免“Garbage In Garbag...

蓄水池采样算法