redis中HLL的使用hyperloglog

最新推荐文章于 2025-04-20 18:40:13 发布
最新推荐文章于 2025-04-20 18:40:13 发布
阅读量870 收藏
点赞数
分类专栏： Redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_39406672/article/details/105775007
版权
Redis中的HyperLogLog(HLL)用于基数估算，提供高效的空间和时间复杂度。HLL通过pfadd命令添加元素，pfcount获取去重元素数量，pfmerge合并多个key的基数。适用于统计注册IP数、访问IP数、UV、在线用户数等场景。尽管无法获取具体元素，但与Bitmap结合可用于标识活跃用户并计数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

redis中HLL的使用
这里给出官方文档（中文翻译版）连接，里面关于时间复杂度、返回值、命令方式、使用案例等等都有详细说明

本文对每个命令都简介总结并个人案例展示

pfadd 添加
影响基数估值则返回1否则返回0.若key不存在则创建
时间复杂度O(1)

127.0.0.1:6379> pfadd m1 1 2 3 4 1 2 3 2 2 2 2
(integer) 1
最低0.47元/天 解锁文章
【HLL】使用 HyperLogLog 去重案例
九师兄
08-05 807
1.概述 HyperLogLog一个常用的场景就是统计网站的UV。 ##基数 简单来说，基数（cardinality，也译作势），是指一个集合（这里的集合允许存在重复元素）中不同元素的个数。例如看下面的集合： {1,2,3,4,5,2,3,9,7} 这个集合有9个元素，但是2和3各出现了两次，因此不重复的元素为1,2,3,4,5,9,7，所以这个集合的基数是7。 maven <dependency> <groupId>net.agkn</grou.
Redis介绍、优点，缺点、数据类型：字符串、集合、列表、散列、有序集合、HLL、GEO操作
ziania_cumt的博客
04-15 763
Redis介绍、优点，缺点、数据类型：字符串、集合、列表、散列、有序集合、HLL、GEO操作
Redis指令详解-HLL相关指令
陈海龙的格物之路
08-15 1974
列举redis中与HLL(近似基数统计)相关的指令，包括作用、使用时需要注意的地方等。
【2025最新redis数据结构之Hypeloglog介绍】关于Hypeloglog
最新发布
gwndjsh的博客
04-20 711
HyperLogLog 是一种用于基数统计（distinct counting）的概率算法，能够在极小内存占用下（通常只需几KB）估算巨大数据集的基数（不重复元素数量），标准误差约为 0.81%。
HyperLogLog（HLL）介绍
m0_54187478的博客
10-19 1333
HLL适用于需要估算不同元素数量的场景，但不适用于需要准确计数的场景。总之，HyperLogLog 是一种非常有用的数据结构，特别适合处理大规模数据集的基数估计问题，但它不适用于所有类型的应用程序。HyperLogLog是一种有趣且有用的数据结构，用于解决估算唯一元素数量的问题，通常与NoSQL数据库（如Redis）一起使用，以便在处理大数据集时执行快速且节省内存的计数操作。社交网络分析： 在社交网络中，HLL可用于估计不同用户的朋友数量或社交网络的规模，而无需跟踪每个用户的详细信息。
内存替换redis hll
codemosi的专栏，点击我可以跳到目录一栏
11-17 1114
/**  * 内存Hll实现，状态可以通过HBaseHandler和RedisHandler来切换、  *   * @author mosi.li  *   */ public class AggUvMemHll2HbaseBolt extends{ private final static Logger LOG = LoggerFactory .getLogger(AggUvMe
Redis-Redis 高级数据结构 HyperLogLog与事务
weixin_43874650的博客
11-29 1133
如果这样的页面很多，那 所需要的存储空间是惊人的。为这样一个去重功能就耗费这样多的存储空间，值 得么？该实现一个明显的问题是内存占用过多，所有从库的连接在主库上是独立的，同样举抛硬币的例子，如果只有一组抛硬币实验，显然根据公式推导得到的。那么基于上面的估算结论，我们可以通过多次抛硬币实验的最大抛到正面的。大家应该对事务比较了解，简单地说，事务表示一组动作，要么全部执行，但是，如果你的页面访问量非常大，比如一个爆款页面几千万的 UV。列中的未执行命令，并不会回滚已经操作过的数据，这一点要和关系型数据库的。
玩转Redis-HyperLogLog原理探索
zxiaofan.com
08-16 4346
《玩转Redis》系列文章主要讲述Redis的基础及中高级应用。本文是《玩转Redis》系列第【10】篇。本文关键字：玩转Redis、HyperLogLog原理、基数缓存、密集存储结构和稀疏存储结构。
redis 高级数据类型之 HyperLogLog 算法详细介绍
一个火星程序员的专栏
10-30 1286
HyperLogLog是一个专门为了计算集合的基数而创建的概率算法，对于一个给定的集合，HyperLogLog可以计算出这个集合的近似基数：近似基数并非集合的实际基数，它可能会比实际的基数小一点或者大一点，但是估算基数和实际基数之间的误差会处于一个合理的范围之内，因此那些不需要知道实际基数或者因为条件限制而无法计算出实际基数的程序就可以把这个近似基数当作集合的基数来使用。
Redis之“不靠谱“的hyperLogLog,误差实测,实战中碰到的BUG深度解析
linsonggao的博客
04-26 2232
这段代码收集2000个用户从最开始的半天到后面需要5天，问题开始变得明显了，于是排查代码怀疑是HyperLogLog的问题，去redis的cli执行一下相关命令发现果然是hll的问题。可见hll的pfadd并不会每次增加uv都返回成功,因为pfadd到一定的基数才会去改变整个hll的近似基数，从而保证整体的hll的误差概率在0.83%比如我pfcount可能到达了10万，但是10万的0.83%就是830，这个时候我需要pfadd 831个才有可能返回true，从而改变整体的基数近似值。
HLL算法
dezhonger的专栏
11-17 7133
HLL算法，主要是用于统计一系列数据中的不同数目的个数，是一个概率性的算法，在空间上有很大优势。 HLL算法步骤： - 1 选定一个hash函数，把给定的数据hash为一个32位bit数据（不一定是32位） - 2 统计每个数据中第一个次出现1的位置（k1, k2, k3.... - 3 k = max(k1, k2, k3 ...) - 4 那么不同个数result = 2^k
Redis中的HyperLogLog以及HyperLogLog原理
qq_42581682的博客
03-16 3497
Redis中的hyperLogLog数据结构及原理
Redis：HyperLogLog使用与应用场景
热门推荐
maoyuanming0806的博客
08-19 2万+
本文介绍redis的HyperLogLogde 命令使用和其他统计方式以及应用场景。 本文最后记录了HyperLogLog算法相关参考链接 简介 基数计数的演进 使用一般集合或数据结构来处理如HashSet或B+树 bitmap 概率算法 算法白话说明 redis中HLL的使用 pfadd 添加 pfcount 获得基数值 pfmerge 合并多个key ...
redis HyperLogLog，看这篇就够了
持之以恒
10-18 8216
考虑这样一个场景，如何统计一个大型网站的去重日活、月活用户（UV）？ 你可以通过 set 集合、bitmap 这类常用工具，但有个最大的缺点是，如果数据量巨大，比如 1 亿，甚至 10 亿将耗费巨大内存消耗。 有人研究出了这样一种算法叫 `HyperLogLog`，是一种概率性的统计算法，每个 `HyperLogLog` 对象最大占用空间为 `12KB`，相当节省内存。 你应该也猜到了，这么小的内存消耗，是无法记录真实的明细数据，统计数值也不是完全精准，有一定的误差比例。
redis-这个可以说是非常全面了
yolly
09-04 1243
目录 前言 1.Redis有多快？ 2.Redis为什么这么快？ 3.Redis为什么是单线程的？ 4.Redis五种存储类型及操作命令 4.1 字符串string 可存储 字符串、整数、浮点数 4.2 列表 list 4.3 集合 set 4.4 散列 hash 4.5 有序集合 zset Redis一共有几种数据类型？五...
【Redis】使用Redis实现签到和统计功能
Decade_Faiz的博客
01-20 1216
Redis中的HLL是基于string结构实现的，单个HLL的内存永远小于16kb，内存占用低的令人发指！UV统计在服务端做会比较麻烦，因为要判断该用户是否已经统计过了，需要将统计过的用户信息保存。Hyperloglog(HLL)是从Loglog算法派生的概率算法，用于确定非常大的集合的基数，而不需要存储其所有值。从最后一次签到开始向前统计，直到遇到第一次未签到为止，计算总的签到次数，就是连续签到天数。：操作（查询、修改、自增）BitMap中bit数组中的指定位置（offset）的值。
redis基础数据结构（六） 基数统计
kdb_viewer的博客
06-22 1560
基数统计即统计一个数据集中不重复元素的个数，一种显然的实现是使用不相交集，缺陷是随着数据增加内存占用线性增加，海量数据下不可用；一种更常见的方法是使用B-树，所有数据在叶子节点保存，叶子节点在磁盘中，上层节点在内存中，因此占用内存的问题得到解决，查找时间O(logN)，但是读取磁盘开销太大；最完美的方法是使用bitmap，因为bit是最小存储空间，可以保证内存占用最小。以上都是准确基数排序的方法，...
redis HyperLogLogs(译文)
未来可7
09-13 2842
原文链接请猛戳这里HyperLogLog（HLL）是一种基于概率的数据结构，用于统计集合中不同元素的个数。通常要完成这项工作所需的内存大小与集合中不同元素的个数成正比。不过，有一种使用精度换取空间的做法，也就是使用较小的内存完成工作，但得到的结果会有一定误差。对于reids来说，这个误差小于1%。这个做法的神奇之处在于，无论集合中有多少元素，你也至多只需要12k内存！从概念上说，HLL的api和se
RedisHyperLogLog的使用方法
05-12
Redis的HyperLogLog是一种基数算法，用于估算一个集合中的元素数量。它的优点是占用空间小，计算速度快，但是在精度上有一定的误差。使用方法如下： 1. 添加元素 可以使用 PFADD 命令向 HyperLogLog 中添加元素。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值