Redis之使用HyperLogLog统计网站UV

已于 2023-06-19 16:26:23 修改
阅读量1.5k 收藏 5
点赞数
分类专栏： redis 文章标签： redis
于 2023-02-03 16:56:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_47414034/article/details/128868401
版权

一句话：HyperLogLog用来统计一个很大很大的数据集(海量数据)的基数，是一个占用空间极低的set，省空间版的set

Redis在2.8.9版本中添加了HyperLogLog数据结构

1.区分UV和PV:

UV:Unique Vistor    独立访问量    1天内同一个用户多次访问该网站，只记录一次

PV:Page View  页面访问量，访问一次页面，记录一次，多次打开这个页面，记录多次PV,用来衡量网站的流量

所以PV往往会比UV大，UV/PV这个比值可以看出来一个用户访问这个网站是点完一次就走，还是在这个网站中浏览了很多页面

2.什么是基数？

一个数据集是{1，3，5，7，5，7，8}，那么这个数据集的基数集就是{1，3，5，7，8}，这个数据集的基数就是5（也就是说数据集去重后的元素个数）

所以HyperLogLog和Set很像，但是如果一条key-value键值对的value是set，当set中几百万条数据的时候，这条key-value键值对很耗费空间

3.为什么用HyperLogLog来统计基数而不是用其他的来统计呢？节省内存

比如统计1亿个数据的基数，如果用set来存储这1亿个数据，占用的空间内存非常大，但是

最低0.47元/天 解锁文章
Redis HyperLogLog 统计UV / 去重统计 /基数统计
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
01-26 817
Redis 在 2.8.9 版本添加了 HyperLogLog 结构。 Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。 在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基 数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。 但是，因为 HyperLogLog 只会根据输入元素来计算基数，
Redis的HyperLogLog原理介绍
一蓑烟雨任平生
03-09 1709
Redis 的 HyperLogLog
Redis 学习笔记（十一）基数统计(HyperLogLog)
men_wen的博客
04-11 5442
Redis 学习笔记（十一）基数统计(HyperLogLog)1. 介绍HyperLogLog命令是redis在2.8版本中加入的，Redis中HyperLogLog是用来做基数统计的。HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的、并且是很小的，因此每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2642^{64}
【黑马点评】UV统计
仰望-星空~~的博客
11-03 390
UV：全称Unique Visitor，也叫独立访客量，是指通过互联网访问、浏览这个网页的自然人。1天内同一个用户多次访问该网站，只记录1次。PV：全称Page View，也叫页面访问量或点击量，用户每访问网站的一个页面，记录1次PV，用户多次打开页面，则记录多次PV。往往用来衡量网站的流量。通常来说UV会比PV大很多，所以衡量同一个网站的访问量，我们需要综合考虑很多因素，所以我们只是单纯的把这两个值作为一个参考值。
基于Redis实现-UV统计
最新发布
2302_77423520的博客
05-02 1118
Redis 的 HyperLogLog提供了一种高效、低内存占用的 UV（独立访客）统计方案，适用于海量数据的去重计数。相比传统方法，HLL 仅需 <16KB 内存即可存储亿级数据，并支持 PFADD（添加元素）、PFCOUNT（统计基数）、PFMERGE（合并集合）等操作，误差率低于 0.81%，显著优于传统 Set 或 Bitmap 方案。
【Redis】HyperLogLog-记录UV
Franco的博客
03-01 705
Redis 提供了 HyperLogLog 数据结构就是用来解决这种统计问题的。HyperLogLog 提供不精确的去重计数方案，虽然不精确但是也不是非常不精确，标准误差是 0.81%，这样的精确度已经可以满足上面的 UV 统计需求了。 使用方法 HyperLogLog 提供了两个指令 pfadd 和 pfcount，根据字面意义很好理解，一个是增加计数，一个是获取计数。pfadd 用法和 s...
使用Redis神奇的HyperLogLog做UV统计
赵侠客
05-25 1594
本文介绍Redis神奇的数据结构HyperLogLog，它可以用很小的内存，统计很多数据的基数(不重复的元素个数)，并利用此特性来统计UV/DAU/MAU，具有高性能，占用内存小特点。
REDIS11_HyperLogLog的概述、基本命令、UV、PV、DAU、MAU、首页UV如何进行统计处理
所得皆惊喜
09-20 1607
REDIS09_HyperLogLog的概述、基本命令、UV、PV、DAU、MAU、首页UV如何进行统计处理
【Redis】HyperLogLog数据类型与UV统计的实现
qq_61903414的博客
06-02 576
Redis中HyperLogLog是基于String结构实现的，单个HHL内存永远小于16kb内存占用极低，但是作为代价，其测量结果是概率性的，有小于0.81%的误差。比如我们统计某一文章或视频浏览量时可以使用UV统计，我们可以基于redis中的上述结构进行统计，当用户访问时我们获取用户id存入该数据结构，如果用户再次访问时，该用户id第二次插入时，只会统计一次。是指的通过互联网访问这个页面的自然人，1天内同一个用户多次访问该网站，只会记录一次。向指定的key中插入数据，如果重复则插入失败。
如何用Redis统计网站的UV
有时间就写写代码
03-26 612
使用 Redis 的 HyperLogLog 数据结构统计网站的 UV 是一种非常高效且节省内存的方式。通过上面的代码示例，你可以轻松地在 Spring Boot 项目中实现这一功能。每次用户访问时，只需将其唯一标识存入 Redis，最终通过 HyperLogLog 统计获得独立访客数（UV），可以在亿级用户量下保持高效和准确。
UV统计（UV统计-HyperLogLog）
xiaoshuzuiwuqing的博客
06-06 1104
UV统计-HyperLogLog，测试百万数据的统计
Redis HyperLogLog 实战：高效处理百万级 UV 统计
Takumilove的博客
10-23 855
独立访客数，指一天内访问网站的去重用户数。即使同一用户多次访问，也只计为一次。：页面浏览量，用户每访问一次页面，就增加一次 PV。多次访问，PV 累加。通常情况下，PV 会远远大于 UV。这两个指标对于评估网站流量都有重要意义。通过使用 Redis 的 HyperLogLog，我们轻松解决了百万级 UV 统计的难题，既节省了内存，又保证了统计效率。对于类似的需要对大量数据进行基数统计的场景，HyperLogLog 无疑是一个优秀的选择。参考资料HyperLogLog 命令。
Redis进阶——BitMap用户签到&HyperLogLog实现UV统计
不愿意做鱼的小鲸鱼の博客
04-20 1569
UV：全称Unique Visitor，也叫独立访客量，是指通过互联网访问、浏览这个网页的自然人。1天内同一个用户多次访问该网站，只记录1次。PV：全称Page View，也叫页面访问量或点击量，用户每访问网站的一个页面，记录1次PV，用户多次打开页面，则记录多次PV。往往用来衡量网站的流量。通常来说PV会比UV大很多，所以衡量同一个网站的访问量，我们需要综合考虑很多因素。
老板让我统计页面UV，我用 HyperLogLog三分钟搞定！
ITMuch的专栏
11-10 1267
点击上方IT牧场，选择置顶或者星标技术干货每日送达redis四两拨千斤-HyperLogLogUV统计场景假设我们有这样的一个场景，需要我们统计一个页面的每天有多少...
基于 Redis 的 HyperLogLog 实现了 UV 的统计
分享技术，分享经验
08-28 1483
在现代网站开发中，用户行为分析是一个非常重要的环节。其中，UV（Unique Visitor，独立访客）和PV（Page View，页面浏览量）是衡量网站流量和用户活跃度的关键指标。UV 指的是通过互联网访问网站的自然人数量，通常一个用户在一定时间内的多次访问只计作一次；而 PV 则指的是用户访问网站的页面次数，无论是否来自同一用户，每次访问都会计入。HyperLogLog 是一种用于基数估计的概率性数据结构，可以高效地估算集合中唯一元素的数量（基数）。
Redis Hyperloglog实现UV数据统计
tiancityycf的专栏
10-18 1104
Redis自2.8.9起可用 时间复杂度： O（1）添加每个元素。 HyperLogLog 是一种概率数据结构，用来估算数据的基数。数据集可以是网站访客的 IP 地址，E-mail 邮箱或者用户 ID。 Redis 的 HyperLogLog 通过牺牲准确率来减少内存空间的消耗，只需要12K内存，在标准误差0.81%的前提下，能够统计2^64个数据。所以 HyperLogLog 是否适合...
使用HyperLogLog统计网站uv
qq_33228984的博客
01-25 1771
网站的UV（Unique Visitor）是指独立访客的数量，用于衡量网站的访问量和流量。在网站统计中，通常使用UV来度量网站的独立访客数量。：通过浏览器的Cookie来标识和追踪访客。当一个访问者首次访问网站时，服务器会在其浏览器中生成一个唯一的标识符（通常是一个Cookie），用于标识该访客。随后，如果同一访客再次访问网站，服务器会识别出该标识符，并将其计算为一个UV。在这种方式下，如果访客在不同的浏览器或设备上访问网站，可能会被计算为多个UV。：通过访客的IP地址来标识和追踪访客。
Redis的HyperLogLog实现uv统计
进化的深山猿
12-08 1116
uv使用
网站访问量UV统计
fz13768884254的博客
02-27 5058
PV（page view，页面浏览量） 用户每打开1个网站页面，记录1个PV。用户多次打开同一页面，PV值累计多次。主要用来衡量网站用户访问的网页数量。是评价网站流量最常用的指标之一。 UV（ unique visitor，网站独立访客） 通过互联网访问、流量网站的自然人。1天内相同访客多次访问网站，只计算为1个独立访客。该概念的引入，是从用户个体的角度对访问数据进行划分。 IP（...
掌握Redis实战技巧：GEO定位、BitMap签到及HLL统计
资源摘要信息:"Redis从入门到精通(十二)Redis实战(九)GEO查询附近商户、BitMap用户签到和统计、HLL的UV统计" Redis是一个高性能的键值对数据库，它支持多种数据结构，如字符串（strings）、列表（lists）、集合...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值