Redis-05-HyperLogLog数据类型

最新推荐文章于 2025-02-25 16:10:46 发布
原创 最新推荐文章于 2025-02-25 16:10:46 发布 · 3.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#redis #缓存 #数据库

Redis的HyperLogLog数据类型用于统计网站独立访客（UV），解决了大数据量下的基数估算问题。它以极小的空间代价，提供对不重复元素数量的近似计数，最大误差不超过0.81%。使用pfadd命令添加元素，pfcount获取估算基数，pfmerge进行集合合并。这种数据结构适合处理海量数据的去重统计。

说明

  • Redis-05-HyperLogLog数据类型
  • HyperLogLog数据类型适用场景是？
    • 统计网站UV，处理基数问题，说白了就是数据去重
  • HyperLogLog数据结构是？
    • k={v1,v2}
    • 其中v1、v2不重复，同一个值首次存入时成功
  • HyperLogLog的优点？
    • 相较于Set非常节省空间，单个k最大12kb，适用于大量数据

操作步骤

》常用命令

# 不重复集合中加入一个或多个元素
127.0.0.1:6379> pfadd k java php golang c++
(integer) 1

# 获取不重复集合中的元素个数
127.0.0.1:6379> pfcount k
(integer) 4

# 合并两个不重复的集合，最终得到一个不重复的集合
127.0.0.1:6379> pfmerge destk k1 k2
OK
【Redis7】10大数据类型之HyperLogLog类型
云泽野の编程日记
05-10 432
HyperLogLog是基于概率的数据结构，能够以极高的效率和极小的内存占用（固定12KB）来近似计算。个不同元素的基数，特别适合处理大规模数据集的统计计数，如网站独立访客（UV）计数等场景。类型,因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身.Redis的HyperLogLog是一种高级数据结构，专门用于基数估算。
玩转Redis-HyperLogLog原理探索
zxiaofan.com
08-16 4528
《玩转Redis》系列文章主要讲述Redis的基础及中高级应用。本文是《玩转Redis》系列第【10】篇。本文关键字：玩转Redis、HyperLogLog原理、基数缓存、密集存储结构和稀疏存储结构。
redis学习计划（八）redis常用数据类型 HyperLoglog
ahjwpcn365373的博客
06-26 227
1.HyperLoglog简介 HyperLoglog是redis新支持的两种类型中的另外一种(上一种是位图类型Bitmaps)。主要适用场景是海量数据的计算。特点是速度快。占用空间小。 同样是用于计算，HyperLoglog在适用场景方面与Bitmaps方面有什么不同呢。我个人的理解是，Bitmaps更适合用于验证的大数据，比如签到， 记录某用户是不是当天进行了签到，签到了多少天...
特殊数据类型 ：Hyperloglog
longqiyuye925的博客
06-06 248
特殊数据类型 ：Hyperloglog 127.0.0.1:6379> flushall OK 127.0.0.1:6379> pfadd key1 a b c d e f #添加元素 (integer) 1 127.0.0.1:6379> pfadd key2 q w e r t y (integer) 1 127.0.0.1:6379> pfcount key1 #统计元素数量 (integer) 6 127.0.0.1:6379> pfcount key2 (intege
Redis 数据类型——hyperloglog
Hanyinh的博客
08-14 2073
一、hyperloglog 介绍 1、hyperloglog 简介 Redis 中 hyperloglog 数据类型是 2.8.9 版本引入的，是一种概率数据结构，用来估算数据的基数。基数就是指一个集合中不同值的数目，比如 a, b, c, d 的基数就是 4，a, b, c, d, a 的基数还是 4。虽然 a 出现了两次，但是只会被计算一次。 ​ hyperloglog 通常用来统计一个集合中不重复的元素个数。一个很常见的例子就是统计某个文章的 UV（Unique Visitor，独立访客，一般可以理解
Redis数据类型 - HyperLogLog
qq_38515961的博客
10-04 420
文章目录一、HyperLogLog简介二、HyperLogLog常用操作 一、HyperLogLog简介 HyperLogLog是一个专门为了计算集合的基数（集合的基数就是集合中元素的数量）而创建的概率算法，对于一个给定的集合，HyperLogLog可以计算出这个集合的近似基数，近似基数并非集合的实际基数，它可能会比实际的基数小一点或者大一点，但是估算基数和实际基数之间的误差会处于一个合理的范围之内，因此那些不需要知道实际基数或者因为条件限制而无法计算出实际基数的程序就可以把这个近似基数当作集合的基数来使用
Redis-Redis 高级数据结构 HyperLogLog与事务
weixin_43874650的博客
11-29 1236
如果这样的页面很多，那 所需要的存储空间是惊人的。为这样一个去重功能就耗费这样多的存储空间，值 得么？该实现一个明显的问题是内存占用过多，所有从库的连接在主库上是独立的，同样举抛硬币的例子，如果只有一组抛硬币实验，显然根据公式推导得到的。那么基于上面的估算结论，我们可以通过多次抛硬币实验的最大抛到正面的。大家应该对事务比较了解，简单地说，事务表示一组动作，要么全部执行，但是，如果你的页面访问量非常大，比如一个爆款页面几千万的 UV。列中的未执行命令，并不会回滚已经操作过的数据，这一点要和关系型数据库的。
Redis-x64-5.0.14
05-31
1. **模块系统（Module System）**：Redis 5.0引入了模块系统，允许开发者扩展Redis的功能，例如添加新的数据类型、命令或持久化策略。这极大地增强了Redis的可定制性和功能性。 2. **Stream数据类型**：这是Redis ...
Redis --- 使用HyperLogLog实现UV(访客量)
记得开心一点嘛的博客
02-06 970
HyperLogLog 是一种高效的基数估算方法，适用于大数据量场景，能够以非常低的内存消耗提供基数（UV）估算。而 PV 则需要精确计数，因此需要使用字符串计数器。逐个存储（一个一个存储）元素到 HyperLogLog 会在某些情况下增加误差。
Redis数据类型--HyperLogLog类型详解及应用
weixin_42118323的博客
03-01 518
数据结构 Redis无论什么数据类型，存储的时候都是以键值对key-value形势存储，并且所有的key都是String类型，本文讨论的数据类型是value的数据类型。 Hyperloglog 概述：Hyperloglog数据类型是Redis 2.8.9版本引入的，是用来做数据基数计算的，因为做基数计算，不保存原始数据，故占用内存很少，但有一定的误差，标准是误差0.81%，适用于对数据准确度要求不是函告的场景。 什么是基数？ 基数就是元素不重复的个数，比如有数据集合{1,2,4,2,5,6,5}，去重后{1
（八)redis常用数据类型 HyperLoglog
皓阳当空-博客
09-15 617
1.HyperLoglog简介HyperLoglog是redis新支持的两种类型中的另外一种(上一种是位图类型Bitmaps)。主要适用场景是海量数据的计算。特点是速度快。占用空间小。同样是用于计算，HyperLoglog在适用场景方面与Bitmaps方面有什么不同呢。我个人的理解是，Bitmaps更适合用于验证的大数据，比如签到，记录某用户是不是当天进行了签到，签到了多少天的时候。也就是说，你不光
Redis数据类型 之 HyperLogLog
哈
10-24 694
Redis数据类型 之 HyperLogLog 基数统计(HyperLogLog) 基数是一种算法。比如一本英文著作由几百万个单词组成，但英文单词本身是有限的，在这几百万个单词中有许多重复的单词，去掉重复的，内存就足够存储了。比如数字集合{1,2,5,7,9,1,5,9}的基数集合为{1,2,5,7,9}，那么基数为5。基数的作用是评估大约需要准备多少个存储单元去存储数据。基数不能存储元素。 Hy...
07- Redis 中的 HyperLogLog 数据类型和应用场景
YoungSoulwt的博客
05-29 743
Redis 中的 HyperLogLog 数据类型和应用场景
Redis-HyperLogLog
sunhuiliang85的专栏
07-11 1222
HyperLogLog 一.什么是HyperLogLog HyperLogLog并不是一种新的数据结构（实际类型为字符串类型），而是一种基数算法，通过HyperLogLog可以利用极小的内存空间完成独立总数的统计，数据集可以是ip、Email、ID等。 二. 命令 2.1 添加pfadd key element[element…] Pfadd命令用于向HyperLogLog添加元素，如果...
Redis教程(七) HyperLogLog类型
yuan_xw的专栏
08-31 1153
Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基 数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。但是，因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身，所以 HyperLogLog 不能像集合那样，返回输入的各
【redis】数据类型之hyperloglog
最新发布
morris
02-25 9574
Redis的HyperLogLog（HLL）是一种高效的概率数据结构，也是一种基于字符串的数据结构，用于估计大数据集的唯一元素数量（基数统计）。它通过极低的内存占用（约 12KB）实现接近线性的时间复杂度，适用于海量数据去重计数场景（如统计独立访客数），但需容忍约0.81%的标准误差。有关hyperloglog类型的命令可以通过命令来查看。有关命令的使用可以通过help 命令来查看，例如help pfadd。
Redis-HyperLogLog数据类型及其常用命令详解
喻师傅的学习笔记
06-24 2369
Redis-HyperLogLog数据类型及其常用命令详解
redis hyperloglog
weixin_30606669的博客
09-16 302
Redis 在 2.8.9 版本添加了 HyperLogLog 结构 Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。 在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基 数。这和计...
Hyperloglog与大数据统计
半日闲的博客
03-16 6440
转自：https://chenjiehua.me/database/hyperloglog-bigdata.html 这几天在做一些数据统计相关的工作，涉及的东西挺多的，在此顺便做一下笔记以备忘。 大数据统计 大数据应用场景中最常见的一个问题便是基数估算，而在进行基数估算时遇到的问题主要是内存需求以及后期数据合并处理等。 举个例子，假设我们的网站对每一次请求都做如下简单的日志记
Redis-copy工具实现Redis数据库间数据迁移
例如，原始 `redis-copy.rb` 可能仅支持部分数据类型或依赖特定版本的 Redis 客户端库，而新的 redis-copy 工具则强调“始终支持所有对象类型”和“使用你的 redis 版本”，这意味着它具备良好的向后兼容性和前瞻性...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值