布隆过滤器&HyperLogLog

最新推荐文章于 2024-11-01 06:34:07 发布
最新推荐文章于 2024-11-01 06:34:07 发布
阅读量405 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 算法 文章标签： 概率论 算法 redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangdanyangtc/article/details/126761773
布隆过滤器和HyperLogLog（HLL）都是为了解决大数据集的存储和查询问题。前者用于判断元素可能存在，允许一定误判率，后者专注于高效计数，牺牲精确度。由于它们的设计原理不同，布隆过滤器不适合进行计数，而HLL无法确定元素具体存在。这两种技术在存储和计算资源有限的场景下，提供了有效的解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

简单理解。目标都是节省存储空间，结果都是非精准，都有一定的设置误判率或误差率的能力。布隆过滤器核心在于判定是元素是否存在，HLL核心是计数。所以反过来讲，由于地层逻辑的区别，布隆过滤器不能做计数，HLL不能判定元素是否存在。

Redis在大数据去重中的应用：布隆过滤器实战指南
AI天才研究院
05-03 984
在大数据场景（如日志分析、推荐系统、缓存穿透防护）中，数据去重是高频操作。传统方案（如内存HashSet、数据库唯一索引）在数据量达到亿级时，内存占用会指数级增长（例如1亿个64位整数需约800MB内存），导致成本剧增。本文聚焦Redis与布隆过滤器的结合方案如何用极小内存实现亿级数据的高效去重？如何控制误判率（False Positive Rate）以满足业务需求？如何在分布式系统中共享布隆过滤器状态？本文覆盖布隆过滤器的数学原理、RedisBloom模块的使用、实战代码开发及典型场景落地。
Redis（十五）Bitmap、Hyperloglog、GEO案例、布隆过滤器
爱喝星冰乐的博客
02-23 1059
Bitmap、Hyperloglog、GEO案例、布隆过滤器
浅谈布隆过滤器和HyperLogLog
creaylei的小花园
09-08 1024
BitMap、BitSet、布隆过滤器、HyperLogLog 区分
redis布隆过滤器与hyperloglog
m0_65931372的博客
05-27 817
先介绍一下redis扩展 redis扩展 redis 通过对外提供一套 API 和一些数据类型，可以供开发者开发自己的模块并且加载到 redis中。通过API可以直接操作 redis 中的数据，也可以通过调用 redis 命令来操作数据（类似lua script）。通过编写模块可以注册自己的命令到redis中，可以实现事务等功能。 本质是不侵入 redis 源码基础上，提供一种高效的扩展数据结构的方式，也可以用来实现原子操作。 以下是一些接口 // 入口函数，相当于main函数 int RedisModul
布隆过滤器和hyperloglog
青烟绕指柔的博客
07-27 630
1.布隆过滤器： 对每个存在的值，映射到一张哈希表中，可以设置多个哈希方法，然后我们对得到的多个值都存到哈希表中，那么对于一个需要判断的值，我们按照相同的哈希算法，只有得到的每个哈希值在哈希表中，才是有可能出现的。只要有一个不存在，就可以过滤掉。 我们可以增加哈希方法的个数，以及哈希表的大小来增加准确性，但是我们会损失时间和空间的开销。 2.hyperloglog 重点：利用抛硬币概率的思想，假设我们抛硬币抛到正面就结束，第四次结束的抛硬币轮数为 x ，那么我们期望抛硬币的次数为： x = 2 ^ 4 利用
Redis数据结构HyperLogLog以及布隆过滤器
weixin_42824596的博客
06-05 1397
也许你已经想到了一个简单的方案，那就是为每一个页面设置一个独立的set集合来存储所有当天访问过此页面的用户ID，当一个请求过来时，使用sadd将用户ID塞进去即可，通过scard可以取出这个集合的大小，这个数字就是这个页面的UV数据。运行后，可以看到输出214，即到第214的时候，就出现了误判。布隆过滤器的initial_size估计的越大，会浪费存储空间，估计的过小，就会影响准确率，用户在使用之前一定要尽可能的精确估计好元素数量，还需要加上一定的冗余空间以避免实际元素可能会高出估计值很多。
redis的HyperLogLog与布隆过滤器
南国樱花祭
06-27 349
HyperLogLog与布隆过滤器都是针对大数据统计存储应用场景下的知名算法。 HyperLogLog是在大数据量的情况下关于数据基数的空间复杂优化实现，而布隆过滤是在大数据量情况下关于检索一个元素是否存在于一个集合中的空间复杂优化后的实现。 在传统的数据量较低的应用服务中，我们实现数据基数和数据是否存在分析的功能，通常是简单把数据存储下来，直接count一下就是基数了，而直接检索一个元素是否存在集合中也是非常简单。 但是随着数据量的急剧增大，传统方式已经很难达到工程上的诉求了。海量数据无论是
Redis实现布隆过滤器的方法及原理
12-15
布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，...
redis 使用 --＞＞布隆过滤器
xdc1812547560的博客
09-09 2017
文章目录简介下载编译方式启动启动验证 简介 我们知道有 HyperLogLog 可以用来做基数统计，但它没提供判断一个值是否存在的查询方法，那我们如何才能查询一个值是否存在于海量数据之中呢？ 如果使用传统的方式，例如 SQL 中的传统查询，因为数据量太多，查询效率又低有占用系统的资源，因此我们需要一个优秀的算法和功能来实现这个需求，这是我们今天要讲的——布隆过滤器。 开启布隆过滤器 在 Redis 中不能直接使用布隆过滤器，但我们可以通过 Redis 4.0 版本之后提供的 modules（扩展模块）的方式
基数统计算法 - HyperLogLog 及布隆过滤器
weixin_51927215的博客
04-10 396
Redis1、前言2、HyperLogLog 介绍3、基础使用4、布隆过滤器5、编译方式5.1、下载并安装布隆过滤器6、启动验证 上一篇文章（地址） 1、前言 在我们实际开发的过程中，可能会遇到这样一个问题，当我们需要统计一个大型网站的独立访问次数时，用什么数据类型比较好呢？ 如果我们使用 Redis 中的集合来统计，当它每天有数千万级别的访问时，将会是一个巨大的问题 因为这些访问量不能被清空，我们运营人员可能会随时查看这些信息，那么随着时间的推移，这些统计数据所占用的空间会越来越大，逐渐超出我们能承载最大
布隆过滤器、HyperLogLog、BitMap
m0_72397750的博客
07-16 435
布隆过滤器、HyperLogLog和BitMap是Redis中重要的组件和数据类型，应该它们有相似的特性，所以放一起记录一下。
Redis（五）应用：HyperLogLog、布隆过滤器、限流
weixin_41750142的博客
12-28 837
文章目录UV、IP 、PV 和 VV一、HyperLogLog1、使用方法 UV、IP 、PV 和 VV     首先知道这几个概念 UV 、IP、PV 和 VV（实习的时候也听到过。）     UV 是 Unique visitor，是指通过互联网访问、浏览这个网页的自然人，访问网站的一台电脑客户端为一个访客，24 小时内相同的客户端只被计算一次。一天内同个访客多次访问仅计算一个 UV。    &
位图，Hyperloglog和布隆过滤器对比
m0_37558251的博客
04-10 1504
项目 场景 实现原理 缺陷 误差分析 内存分析 实践应用 位图 有一些bool型数据需要存取，比如用户一年的签到记录，签了是1，没签是0，要记录365天。如果使用普通的key/value，每个用户要记录365个，当用户...
redis-布隆过滤器 和 hyperLogLog --》 去重操作相关
切尔诺贝尔
11-12 366
HyperLogLog 应用场景： 比如做单网站今日UV统计的时候，把每个用户都加到hyperloglog里面，最后直接统计hpyerloglog的数量就好了 特点 ： 1，不会记录元素的内容 2，单个key提供去重计数统计，但是会有误差 优点 ： 12 KB 内存，就可以计算接近 2^64 个不同元素 缺点 ： 标准误差是：0.81% 实现原理：数学概率论 布隆过滤器 应用场景...
Redis高级数据结构 HyperLogLog，布隆过滤器
alvin_666的博客
04-21 1200
Redis中的高级数据结构 五、HyperLogLog HyperLogLog：redis高级数据结构，用于解决统计问题，提供不精确的去重计数方案（标准误差0.81%） 1、使用方法 pfadd：增加计数（和set的asdd用法一样，来一个往里面放一个） pfcount：获取计数（和scard的用法一样，直接获取计数） pfmerage：将多个pf计数累加再一起形成一个新的pf值 2、使用Hype...
Redis bitmap、hyperlog、布隆过滤器、RoaringBitmap原理应用场景与日活的统计的具体应用
S_ZaiJiangHu的博客
07-07 4174
缺点： 1.空间占用大2.统计逻辑复杂，比如统计最近 30 天用户的累计活跃天(每个用户在 30 天里有 N 天使用 app，N 为 1-30，然后将月活跃用户的 N 天加总)？统计最近 7 天的用户累计使用时长？统计最近 30 天有播放的累计用户数？统计最近 30 天活跃用户有多少在最近 30 天里有连续 3 天及以上活跃？统计 28 天前活跃用户的 1、3、7、14、28 天留存率？3、mysql性能消耗大， 4、以上统计逻辑可扩展性差，由于数据分析经常进行探索性分析，上面传统方案能解决上面几个问题，但
redis计数, 布隆过滤器, hyperloglog
congchp的博客
02-28 756
redis计数 布隆过滤器 redis扩展 redis通过对外提供一套API和一些数据结构，可以供开发者开发自己的模块并加载到redis中。 本质 在不侵入redis源码的基础上，提供一种高效的扩展数据结构的方式。 API及数据结构 参考redismodule.h RedisBloom RedisBloom是redis的一个扩展，我们主要使用了它的布隆过滤器。 关于布隆过滤器的原理，参考《hash，bloomfilter，分布式一致性hash》 加载到redis中的方法 git clone https:/
（二）redis位图+HyperLogLog+布隆过滤器+GEO
lss446937072的博客
11-12 3382
（一）位图 有时候会有一些boolean类型的值需要存取 例：记录用户一年的签到记录，1就是签到，0是未签到。使用普通的key/value要记录365个。但是使用位图365天就是365个位，需要46个字节。 位图不是特殊的数据结构，就是普通的字符串，也就是byte数组。我们可以使用get/set操作整个位图的内容，也可以直接使用getbit/setbit等将byte数组看成[位数组]来处理 如果某个偏移位置超过了现有范围就会自动进行扩容 （二）HyperLogLog四两拨千斤 统计达成网站
Redis学习：BitMap/HyperLogLog/GEO案例 、布隆过滤器BloomFilter、缓存预热+缓存雪崩+缓存击穿+缓存穿透
LiuYQi的博客
11-01 1076
Redis学习：BitMap/HyperLogLog/GEO案例 、布隆过滤器BloomFilter的原理以及实战使用、缓存预热+缓存雪崩+缓存击穿+缓存穿透的原理以及预防
利用redis实现布隆过滤器
最新发布
02-16
### 使用 Redis 实现布隆过滤器 Redis 提供了多种数据结构来支持高效的集合操作，其中 HyperLogLog 和 Bitmaps 可用于近似算法的实现。然而，对于更复杂的布隆过滤器功能，则通常依赖于第三方库或模块。 #### 方法一：通过 `redis-py` 库配合 Python 的 Bloom Filter 库 可以利用 Python 中的 `pybloomfiltermmap3` 来创建本地布隆过滤器实例，并将其状态保存到 Redis 中以便分布式应用共享[^1]： ```python import redis from pybloomfilter import BloomFilter r = redis.Redis(host='localhost', port=6379, db=0) bf_key = 'my_bf' if not r.exists(bf_key): # 如果不存在则初始化一个新的布隆过滤器并存储至Redis bf = BloomFilter(1000000, 0.01, bf_key) else: bf = BloomFilter.open_from_redis(redis_conn=r, key=bf_key) # 添加元素 item_to_add = "example_item" bf.add(item_to_add.encode()) # 查询是否存在某项 print(f"Does '{item_to_add}' exist? {item_to_add.encode() in bf}") ``` 此方法允许应用程序之间共享相同的布隆过滤器配置而无需重复构建。 #### 方法二：使用 RediSearch 或其他扩展模块 某些情况下可以直接采用专门设计用来增强 Redis 功能性的插件，比如 RediSearch 模块提供了内置的支持来进行模糊匹配查询以及布隆过滤器的操作[^2]: 安装 RediSearch 后可以通过命令行工具 `redis-cli` 执行如下指令完成基本设置: ```bash FT.CREATE idx SCHEMA title TEXT WEIGHT 5.0 body TEXT BF.RESERVE myBloomFilter 0.01 1000 EXPANSION 4 ``` 上述代码片段展示了如何定义全文索引和预留一个名为 `myBloomFilter` 的布隆过滤器资源，设定误报率为 0.01%，初始容量为 1000 并指定了增长因子为 4。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值