图解Redis HyperLogLog

最新推荐文章于 2024-07-04 01:05:52 发布
最新推荐文章于 2024-07-04 01:05:52 发布
阅读量162 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 图解redis 文章标签： redis hyperloglog
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/skh2015java/article/details/119972909
博客可能围绕Redis和HyperLogLog展开。Redis是常用的后端数据库，HyperLogLog是Redis中的一种数据结构，可用于进行基数统计。二者结合在信息技术领域有重要应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

HyperLogLog 使用及其算法原理详细讲解
Java框架、并发编程、分布式、微服务、Redis、HarmonyOS、中间件等技术
08-18 2万+
目录 一、简介 二、命令 2.1 PFADD key element [element …] 2.2 PFCOUNT key [key …] 2.3 PFMERGE destkey sourcekey [sourcekey …] 三、原理 3.1 伯努利试验 3.2 估值优化 3.3 HyperLogLog的实现 3.4 代码实现-BernoulliExperiment（伯努利试验） 3.5 代码实现-HyperLogLog 一、简介 首先抛出一个业务问题： 假设产品经理让你设计一
Redis 之 HyperLogLog
weixin_44019182的博客
07-15 880
《Redis 深度历险：核心原理和应用实践》之 四两拨千斤—— HyperLogLog 在开始这一节之前，我们先思考一个常见的业务问题：如果你负责开发维护一个大型的网站，有一天老板找产品经理要网站每个网页每天的 UV 数据，然后让你来开发这个统计模块，你会如何实现？ 如果统计 PV 那非常好办，给每个网页一个独立的 Redis 计数器就可以了，这个计数器的 key 后缀加上当天的日期。这样来一个请求，incrby 一次，最终就可以统计出所有的 PV 数据。 但是 UV 不一样，它要去重，同一个用户一天之内的
java Hyper LogLog_【Redis学习系列】HyperLogLog
weixin_27427397的博客
02-24 276
HyperLogLogHyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的、并且是很小的。在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基 数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。但是，因为 HyperLo...
Redis HyperLogLog
JaweG
12-24 358
基于HyperLogLog的算法：极小空间完成独立数量统计 本质还是字符串 三个API PFADD key element [element …]：向HyperLogLog中添加元素 PFCOUNT key [key …]：计算HyperLogLog的独立总数 PFMERGE destkey sourcekey [sourcekey …]：合并多个HyperLogLog 使用经验 1）是否能容忍错...
Redis中的HyperLogLog
m0_37506254的博客
09-11 1619
一、啥是HyperLogLog 一、初始HyperLogLog Redis中的HyperLogLog是一种基于基数估算的算法，所谓基数估算就是在一批数据中不重复的元素个数有多少个。 基数计数(cardinality counting)，则是指计算一个集合的基数，意即count-discint。 基数计算的场景很广泛，例如计算网站的访问uv，计算网络流量网络包请求header中的源地址的distinct数来作为网络攻击的重要指标。想要实现基数计数最直接想到的...
敖丙思维导图-Redis
wantLight的博客
06-28 3620
Redis快速的原因 纯内存操作。 单线程操作，避免了不必要的上下文切换和竞争条件，也不存在多进程或者多线程导致的切换而消耗CPU，不用去考虑各种锁的问题。 采用了非阻塞I/O多路复用机制。 Redis数据结构底层实现 String （sds（Simple Dynamic String, 简单动态字符串）代替c字符串） String 缓存结构体用户信息，计数 Hash 保存结构体信息可部分获取不用序列化所有字段 List twitter的关注列表，粉丝列表等都可以用Redis的list结构来实现(.
Redis相关命令详解及其原理
weixin_73240939的博客
01-15 1272
Redis，英文全称是remote dictionary service，也就是远程字典服务。
图解 Redis String 底层数据结构 SDS 与计数器实战
m0_73311735的博客
01-09 508
因为 C 语言标准库。
Java技术栈总结：Redis篇
Janebook的博客
07-04 1231
Redis 自身是一个 Map，其中的所有数据均采用“key:value”的形式存储。数据类型指的是存储的数据的类型，即 value 部分的类型，key 的部分只能是字符串。value 部分的数据类型：
Redis知识浓缩总结——基础篇
qq_39367410的博客
12-09 779
Redis能干嘛？ 1、内存存储、持久化，内存中是断电即失、所以说持久化很重要（rdb、aof） 2、效率高，可以用于高速缓存 3、发布订阅系统 4、地图信息分析 5、计时器、计数器（浏览量！）
Redis HyperLogLogs
03-01 608
Redis HyperLogLogs
java中使用redis ---- 基本类型及HyperLogLog/BitMap
weixin_44609676的博客
06-28 315
在application.properties中输入。
Redis Hyperloglog(浅析)
ord_D的博客
07-22 293
Redis Hyperloglog(浅析)
HyperLogLog
dj1955的博客
04-12 62
【代码】HyperLogLog。
六Redis HyperLogLog
张金玉的专栏
12-25 194
使用常量空间估算大量元素的基数 使用集合来存储每个访客的IP,通过集合性质（集合中的每个元素都各不相同）来得到多个独立 IP,然后通过调用SCARD命令得出独立IP的数量 ip = get_vistor_ip() SADD '2014.8.15::unique::ip' ip 然后使用以下代码来获得当天的唯一 IP 数量 SCARD '2014.8.15::unique::ip' 集合实现的问...
Redis基础教程（十）：HyperLogLog
菜鸟小码的博客
07-03 1239
传统的计数方法，如使用集合（Set）存储每个唯一元素，虽然能提供精确的结果，但在处理海量数据时会消耗大量的内存资源。这时，HyperLogLog 算法便展现出了其独特的优势。
Redis中的HyperLogLog以及HyperLogLog原理
qq_42581682的博客
03-16 3757
Redis中的hyperLogLog数据结构及原理
Redis HyperLogLog 用于记录独立总数
lebronchen的博客
09-06 943
HyperLogLog是Redis支持的一种数据结构，使用基数算法来完成独立总数的统计。这里先来介绍一下基数算法。 基数是指一个集合中，不同的数的个数。基数算法是估计一个集合中不同的数的个数，不是数据总量的估计，也不是基数的精确计算。而是用概率算法的思想，来用低空间和时间成本，以一个很低的误差度来估计数据的基数。 所以HyperLogLog采用了牺牲精度节约内存的思想，能够使用极小的内存空间来...
Redis HyperLogLog 是什么？这些场景使用它，让我枪出如龙，一笑破苍穹
码哥字节
03-29 757
大家好，我是宠粉狂魔「码哥」，文末又有福利在移动互联网的业务场景中，数据量很大，我们需要保存这样的信息：一个 key 关联了一个数据集合，同时对这个数据集合做统计。统计一个 APP 的日活、月活数；统计一个页面的每天被多少个不同账户访问量（Unique Visitor，UV））；统计用户每天搜索不同词条的个数；统计注册 IP 数。通常情况下，我们面临的用户数量以及访问量都...
redis hyperloglog
最新发布
02-20
### Redis HyperLogLog 数据结构概述 Redis HyperLogLog 是一种概率性的数据结构，专门设计用来估计集合中不同元素的数量（即基数）。这种算法能够在消耗极少量内存的情况下提供相对精确的结果。HyperLogLog 特别适合处理大数据集中的唯一值计数问题[^1]。 #### 主要特点 - **高精度**：尽管占用空间很小，但仍然能够保持较高的准确性。 - **低资源消耗**：相比其他方法，在相同误差范围内所需的内存量更少。 - **快速操作**：支持高效的插入和查询操作。 ### 使用方法 为了利用 Redis HyperLogLog 进行基数估算，主要涉及三个命令： #### 1. `PFADD` - 插入新元素 此命令允许向现有的 HyperLogLog 结构添加一个或多个元素。每次调用该函数时都会更新内部状态以便后续计算唯一的条目数目。 ```bash PFADD key element [element ...] ``` 当成功加入至少一个新的成员时返回 `1`; 如果没有任何变化，则返回 `0`. 示例： ```bash > PFADD visitors "user_1" (integer) 1 > PFADD visitors "user_2" "user_3" (integer) 1 ``` #### 2. `PFCOUNT` - 获取当前估计的基数 通过这个命令可以获得由特定键表示的 HyperLogLog 所代表的独特元素总数的一个近似值。 ```bash PFCOUNT key [key ...] ``` 对于单个参数的情况会给出对应 HyperLogLog 的预计大小；如果有多个参数传入的话将会把它们合并起来再做一次总的评估。 例子如下所示： ```bash > PFCOUNT visitors (integer) 3 ``` #### 3. `PFMERGE` - 合并两个或更多 HyperLogLogs 有时可能需要将来自不同源的数据汇总在一起形成统一视图。这时就可以借助于 `PFMERGE` 来完成这项工作——它可以把几个不同的 HyperLogLog 实例融合成一个新的实例而不影响原有的记录。 ```bash PFMERGE destkey sourcekey [sourcekey ...] ``` 这里 `destkey` 表示目标位置的名字，而后面的则是待组合的对象列表。 案例展示： 假设存在两组独立的日志文件分别保存着某网站两天内的访问者 ID ，现在想要知道这两天里总共出现了多少位不重复的访客。那么可以通过先各自创建对应的 HyperLogLog 变量然后再执行上述指令来达成目的。 ```bash # 创建第一天的 HyperLogLog 并填充一些样本数据 > PFADD day1_visitors "visitor_a" "visitor_b" # 对第二天也做同样的事情 > PFADD day2_visitors "visitor_c" "visitor_d" "visitor_e" # 接下来就是将两者合为一体... > PFMERGE all_days_visitors day1_visitors day2_visitors # 最终查看总共有多少名独一无二的人士光临过我们的站点 > PFCOUNT all_days_visitors (integer) 5 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值