数据流基本问题--基于sketch进行Frequency Estimation

最新推荐文章于 2025-09-17 12:47:01 发布
原创 最新推荐文章于 2025-09-17 12:47:01 发布 · 1.4w 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据流 #Count-Min Sketch #计数

本文探讨了数据流中的频率估计问题，介绍了Basic Sketch、Count Sketch和Count-Min Sketch三种方法。Basic Sketch作为Count Sketch的基础，通过两个哈希函数提供无偏估计。Count Sketch利用median trick减少误差，而Count-Min Sketch简化了算法，适用于查找频繁元素、区间求和等任务。通过对误差概率的分析，Count Sketch在元素出现次数差距较大时表现更优。

如果一个数据流，其中m为数据流的大小，。我们可以定义每个

元素出现的次数为，其中为第i个元素出现的次数。这篇博客就是讲下的估计问题

（Frequency Estimation）。在数据流基本问题--确定频繁元素里面的方法也可以对元素出现次数进行估计。但是这个

方法如果该这种方法处理了两个数据流，无法对处理的结果进行汇总得到两个数据流合并后的结果进行估计。而且该

方法只能针对vanilla model，无法处理元素可能离开的情形。下面介绍的sketch方法可以很好的处理这两个缺点。数据

流的sketch是对输入的一个线性转换。这些方法和Bloom Filter非常像，只不过在Bloom Filter中存储的是0/1，这里存储

是计数。

一、Basic Sketch

1、算法步骤

这个方法是后面Count Sketch的原型，包含了它的大部分想法。算法需要一个计数的数组（代表了Sketch的意思）和

两个哈希函数。哈希函数h将元素哈希到1到k中，k正好是计数数组的大小。哈希函数g的作用就是为了产生无偏估计。

处

最低0.47元/天 解锁文章
Frequency Estimation
u011564172的博客
01-30 885
文章目录前言算法流程精度实现及改进实现改进 前言 大数据统计中的频率估计问题，即求一个元素出现的次数。和Cardinality Estimation场景相似，面临着内存开销大的问题，不适合直接存储原始数据。本篇文章介绍解决这个问题的一个算法，Count-Min Sketch 。 算法 Count-Min Sketch 算法是在论文An Improved Data Stream Summary: T...
Sketch测量方法
m0_54947284的博客
07-20 1759
​ Sketch是一类被广泛应用在网络测量领域的概率数据结构，用于记录多集合或流中元素的频率或估计其基数，且Sketch通常比输入的大小要小很多。基于Sketch的测量属于被动测量通常不发送任何探测包，也不会对网络造成额外开销，Sketch使用概要对感兴趣的信息进行有效的存储和检索，从而实现对活跃流的存在及体积信息的记录。
CountSketch
11-24
需要资源请查询，基于网络流处理的CountSketch算法的C语言实现，已经过测试证实准确可用
31、计数近似中的相变：保守更新的Count - Min Sketch分析
最新发布
blue的专栏
09-17 37
本文分析了保守更新策略在Count-Min Sketch中的应用，揭示了其误差行为与哈希超图可剥离性之间的深刻联系。研究表明，在亚临界区域（λ < λk），随机超图高概率可剥离，保守更新的相对误差渐近趋于0；而在超临界区域（λ > λk），核心结构导致计数器相互干扰，平均误差存在正的常数下界。通过理论分析与实验验证，论文展示了不同输入模型和分布（如Zipf分布）下误差的变化趋势，强调了可剥离性对误差收敛的关键作用，并为实际应用场景提供了参数选择与性能优化的依据。
count sketch
Mp4r8672v的博客
01-12 1581
count sketch
概要数据结构（Sketch）
桃子小迷妹
09-24 3518
概念 概要数据结构（Sketch）包含H个长度为P的哈希表. 将网络流量数据建模为 （键，值） 的形式， 其中 “键” 为一个或多个数据包头中的字段， 例如源地址或源地址个目的地址的组合， “值”为存储的特征， 例如数据包的数量。 在Sketch中， 每个块表示为 T[i][j],i=1,2,...,H,j=1,2,...,P,T[i][j], i = 1,2,..., H, j = 1,2,...,P,T[i][j],i=1,2,...,H,j=1,2,...,P, 每一行iii都关联着一个哈希函数hi
Frequency Estimation in Local and Multiparty Differential Privacy
weixin_43641509的博客
12-06 504
Frequency Estimation in Local and Multiparty Differential Privacy 此为Graham Cormode在ICLR2021上的讲座笔记，由于对这块尚未开始研究，内容有待校正，建议观看原视频。 LDP部分参考论文 MDP部分参考论文 本次讲座主要介绍在Frequency Estimation 上的两种差分隐私机制：Local differential privacy 和 multiparty differential privacy 在LDP中重要
基于Go的流数据处理库spds：支持基数估计与频繁元素检测
`spds frequency` 用于识别数据流中出现频率较高的元素（即“重 hitters”或“top-k frequent items”），常用于发现热门商品、异常IP地址等；`spds sampling` 则提供对高速数据流进行代表性采样的机制，确保后续...
[论文笔记] Sigcomm 2018 Elastic Sketch: Adaptive and Fast Network-wide Measurements
iroy33的博客
12-06 3276
除了basic version的方式分离象流和鼠流，以及MM合并的一个bound 其他都没给出数学上的证明。 我简直有毒，在heavyguardian里面，除了算法，什么都写了。 网络流特征 看到 ostracism 的时候，感觉和 数据流基本问题–确定频繁元素（一） 中提到的，我觉得思想是一致的，然后引入一个λ\lambdaλ λ的作用是什么呢？ flag的作用是判断bucket里面是否evic...
sketches-misc：非生产代码与实用工具集合
数据草图是一种高效的近似计算技术，广泛应用于大规模数据流处理中，能够在极低内存消耗下完成对海量数据的统计分析任务，如基数估计（Cardinality Estimation）、频率估计（Frequency Estimation）、分位数计算...
data-for-sketch:在Sketch中用作示例数据的数据列表集
03-19
草图中使用的数据列表（版本52或更高版本） Sketch 52引入了在设计中使用数据样本的选项。 在此处阅读有关内容： : 有许多对每个人都有用的数据集，因此此仓库要求在这些列表上进行协作。
Sketch算法所用数据
11-24
所有Sketch算法所需要的数据包，通过真实值计算，再经过Sketch算法估计，获得测量精度，经过测试真实值是正确的
CountMin Sketch算法
11-24
需要资源请查询，基于网络流处理的Sketch算法的C语言实现，已经过测试证实准确可用
Sketch算法-CM Sketch、Count Sketch等
syuichihann的博客
11-16 8518
sketch sketch统计网络数据流中某个元素出现的频率，反应数据流的特征。并不实际的存储数据流中的元素，只存储他们的计数。 基本原理是数组每个单元维持一个计数器，当数据流的元素哈希索引到数组的某个位置，此位置计算器加一。查询某个元素的出现频率只需哈希索引到对应计数器即可。很明显，由于不同元素可能索引到同一个位置，这种方法得到的计数值一般是偏大的。 Count Sketch 运行sketch方法k次，每次对应单独的哈希函数h（索引到数组某个位置）和g（哈希函数g的目的是无偏估计），然后取结果的平均值.
sketch 将动图转换为json_Sketch导入、导出使用方法和技巧介绍
weixin_39517202的博客
12-02 1544
Sketch 55 for mac是应用在Mac上的矢量绘图软件，Sketch Mac版以简约的设计是基于无限的规模和层次的绘图空间，调色板，面板，菜单，窗口和控件，虽然使用简单，它提供了功能强大的矢量绘图和文字工具。让您凭借强大的功能，直观的界面和广阔的插件生态系统，Sketch可以让您创建最佳作品 - 从最早的想法到最终的设计。此次小编带大家来具体看看sketch如何导入和导出！最新版Sket...
【坑】Sketch算法——Count-Min Sketch和Universal Sketch
ljm1995的博客
12-23 3288
文章目录参考链接Count-Min SketchUniversal Sketch 参考链接 [1] Count-Min Sketch: https://blog.youkuaiyun.com/pipisorry/article/details/64126199 [2] Cormode G, Muthukrishnan S. An improved data stream summary: the count-min sketch and its applications[J]. Journal of Algorithm
Count Sketch--计数草图
lyhaoyuhangyuan的博客
01-18 1125
对于 h2​：h2​(a)=3，g2​(a)=−1，所以查看第2行第3列的值，为-3，乘以-1，变为3。对于 h1​：h1​(b)=2，g1​(b)=−1，所以查看第1行第2列的值，为-2，乘以-1，变为2。对于 h2​：h2​(c)=2，g2​(c)=−1，所以查看第2行第2列的值，为-1，乘以-1，变为1。对于 h1​：h1​(a)=1，g1​(a)=1，所以在第1行第1列的位置加1，变为1。对于 h2​：h2​(b)=1，g2​(b)=1，所以在第2行第1列的位置加1，变为1。
哈工大 大数据算法 点查询和频度估计-Count Sketch算法-Final Count Sketch算法
陈泊舟的博客
06-18 4606
点查询和频度估计4 Count Sketch算法 算法 C[1...k]←0,k=3ϵ2C[1...k] \leftarrow 0,k = \frac{3}{\epsilon^2}C[1...k]←0,k=ϵ23​ 随机选择1个2−wise2-wise2−wise独立哈希函数h:[n]→[k]h:[n] \rightarrow [k]h:[n]→[k] 随机选择1个2−wise2-wise2−wise独立哈希函数g:[n]→{−1,1}g:[n] \rightarrow \{-1,1\}g:[n]→{−1
Count-Min sketch算法
admondchen的博客
12-03 3436
给定数据流< 4,1,3,5,1,3,2,6,7,0,9 >,若哈希函数形如h(x)= (ax + b) mod 8,其中a和b是任意给定的常数。假设给定如下哈希函数： (1) h(x) = (3x + 2) mod 8； (2) h(x) = (7x + 5) mod 8； (3) h(x) = (5x + 3) mod 8。 请利用Count-Min sketch算法估计频繁项。 程序 ''' CountMinSketch 实现 已完成 ''' import numpy as np
sketch-data-cn：Sketch中文模拟数据生成工具
资源摘要信息:"sketch-data-cn是为Sketch这款专业图形设计软件准备的模拟数据中文版。它提供了一系列的中文模拟数据，包括了个人姓名、手机号、省份、城市、地区、公司名称、银行名称、星期几的中文表示、详细地址、...
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值