Redis 经典高级数据结构实战:HyperLogLog、Bitmap 与 GEO

六、Redis 高级功能详解:BitMap、HyperLogLog、Geo、Stream Redis 不仅提供了基础的数据结构(String、List、Set、Hash、Sorted Set),还提供了一些。Redis 高级数据结构大幅拓展了 Redis 的应用场景,帮助开发者在。本文将详细介绍这些高级功能的使用方式、应用场景以及优化策略。设置某个偏移量(offset)上的 bit 值(0 或 1)。计算字符串中 bit 为 1 的个数,即统计签到人数。(而不是 1 字节),因此非常节省内存。(如用户签到、活跃状态等)。,专门用于特定的应用场景,如。内的地点,按距离排序。编码,可用于地图索引。 阅读详情

Redis 不仅仅是一个“缓存数据库”,它还内置了多种高效、实用的高级数据结构,能够以极低的资源开销解决特定领域的复杂问题。本文将介绍三种经典结构:HyperLogLog(基数统计)、Bitmap(位图) 和 GEO(地理空间),并结合实际场景说明它们的独特价值。


1. HyperLogLog:亿级 UV 统计的“内存刺客”

📌 核心特点

  • 固定内存消耗:无论存储 1 个还是 10 亿个元素,仅占用约 12 KB 内存。
  • 高吞吐写入:PFADD 操作时间复杂度为 O(1)。
  • 可接受误差:标准误差率约为 0.81%,适用于对精度要求不苛刻的统计场景。

🔧 基本命令

PFADD uv:20251115 user1 user2 user3   # 添加用户
PFCOUNT uv:20251115                   # 获取估算 UV 数
PFMERGE uv:20251115 uv:20251114       # 合并两天数据

✅ 典型使用场景

  • 网站/APP 日活(DAU)、月活(MAU)统计
  • 广告曝光去重计数
  • 大规模事件流中的唯一 ID 估算

💡 为什么不用 Set?
若用 Set 存储 1 亿用户 ID(每个 ID 8 字节),需约 800 MB 内存;而 HyperLogLog 仅需 12 KB —— 节省 99.99% 内存!


2. Bitmap:用“位”节省空间的极致优化

📌 核心特点

  • 底层为 String,但按位操作,空间效率极高。
  • 支持位运算(AND/OR/XOR/NOT),可用于多维度分析。
  • 最大偏移量限制:offset ≤ 2^32 - 1(约 42.9 亿位,即 512 MB)。

🔧 基本命令

SETBIT sign:202511:uid1001 14 1   # 用户 uid1001 在 11月15日(第14天)签到
GETBIT sign:202511:uid1001 14     # 查询是否签到
BITCOUNT sign:202511:uid1001      # 统计当月签到天数

✅ 典型使用场景

  • 用户签到系统(365 天仅需 46 字节)
  • 活跃度分析(如连续登录检测)
  • 布隆过滤器(Bloom Filter)基础实现
  • 权限位图(如 32 个功能权限用 4 字节表示)

💡 技巧:通过 BITOP 合并多个用户签到记录,可快速计算“连续7天签到用户数”。


3. GEO:轻量级地理位置服务

📌 核心特点

  • 基于 Sorted Set(ZSet) 实现,使用 GeoHash 编码经纬度。
  • 支持 距离计算、范围查询、附近的人 等操作。
  • 精度:约 0.6 米(对应 GeoHash 的 52 位编码)。

🔧 基本命令

GEOADD cities 116.40 39.90 beijing   # 添加北京坐标
GEOADD cities 121.47 31.23 shanghai  # 添加上海
GEODIST cities beijing shanghai km   # 计算两城距离(单位:km)
GEORADIUS cities 116.40 39.90 100 km # 查找北京 100km 内城市

✅ 典型使用场景

  • “附近门店/司机/用户”推荐
  • 地理围栏(Geo-fencing)告警
  • 物流路径预判或区域统计

⚠️ 注意:GEO 不支持直接删除单个元素(需通过 ZREM 操作底层 ZSet),也不支持复杂地理拓扑(如多边形区域),复杂场景建议结合 PostgreSQL + PostGIS。


总结:如何选择?

需求推荐结构关键优势
亿级 UV 统计HyperLogLog极低内存 + 高吞吐
用户签到 / 权限位Bitmap空间极致压缩 + 位运算
附近的人 / 距离计算GEO开箱即用的地理查询

这些结构的共同特点是:用巧妙的算法设计,在有限资源下解决特定问题。它们不是“万能钥匙”,但在合适场景下,能让你的系统更轻、更快、更省。


📚 延伸阅读

  • Redis 官方文档:Data Types
  • 《Redis 设计与实现》—— 黄健宏
  • GeoHash 算法原理:https://en.wikipedia.org/wiki/Geohash

STM32CubeMX和华为LiteOS Studio开发STM32 传统的STM32的开发通常使用Keil/IAR这类开发软件,随着物联网时代的到来,传统嵌入式的发展不断向物联网方向靠拢,而Keil/IAR这类开发软件无法满足IoT一站式的开发,华为LiteOS Studio结合STM32CubeMX可以快速,高效地进行物联网开发,本文提供一种开发思路及环境的配置方法。... 阅读详情

相关推荐

不用加速器!Google Earth Pro登录失败自救手册:从服务器连接到地图加载的完整排错流程

本文详细解析了Google Earth Pro登录失败的常见问题及解决方案,包括服务器连接失败、地图加载异常等。通过基础排查、内置修复工具使用和高级配置调整,帮助用户无需加速器即可解决启动问题、黑屏和转圈圈等困扰,提升软件使用体验。

weixin_29227425的博客 486

Redis数据结构——HyperLogLog 原理

HyperLogLog是一种高效的基数计数概率算法,通过极小内存(仅12KB)即可统计近2^64个不同元素。它基于LogLog算法改进,利用分桶和调和平均数降低误差(标准误差0.81%)。Redis实现中采用16384个桶,每个桶6bit,通过哈希将数据分散到桶中并记录最大连续零位数。相比HashMap等传统方法,HyperLogLog在百万级数据量时内存优势显著,适合允许微小误差的大规模去重统计场景,如日活用户统计。其核心思想源自伯努利试验,将统计问题转化为概率估算,展现了数学在工程中的巧妙应用。

NoviceZ的博客 407

【backtrader保姆级教学】投资组合回测

method1:探索投资组合的最有方案,使用蒙特卡洛模拟Markowitz模型。# 提取最小波动组合对应的权重, 并转换成Numpy数组。# 绘制收益-标准差的散点图,并用颜色描绘夏普比率。# 在收益-风险散点图中突出风险最小的点。:param any_day: 任意日期。# 将该点坐标显示在图中并保留四位小数。password = “替换密码”# 找到标准差最小数据的索引值。user = “替换账号”# 计算GMV投资组合收益。# 计算每项资产的夏普比率。# 设置无风险回报率为0。

weixin_38132951的博客 2316

【存储中间件】Redis核心技术与实战(一):Redis入门与应用(高级数据结构:Bitmaps、HyperLogLog、GEO)

1970 年布隆提出了一种布隆过滤器的算法,用来判断一个元素是否在一个集合中。这种算法由一个二进制数组和一个 Hash 算法组成。本质上布隆过滤器是一种数据结构,比较巧妙的概率型数据结构(probabilistic data structure),特点是高效地插入和查询,可以用来告诉你 “某样东西一定不存在或者可能存在”。相比于传统的 List、Set、Map 等数据结构,它更高效、占用空间更少,但是缺点是其返回的结果是概率性的,而不是确切的。

专注上位机开发、机器视觉、机器学习、嵌入式软硬件开发 1万+

PLUS模型土地利用变化模拟使用简介

因子包括自然因子如社会因子,通过计算整理得到新图层,并以tif文件输出到驱动因子的文件夹里,驱动因子文件夹里存放的是tif文件格式。线性回归使用提供的所有的LULC资源数据,可以选择往后预测的年数,选择好数据之后,可以得出预测的每一年的每一用地类型面积数据。在此过程之后,可以继续使用此CARS输入的数据继续模拟,也可返回二(3)中CARS模块,重新输入不同的年份预测。在此过程之后,可以继续使用此CARS输入的数据继续模拟,也可返回二(3)中CARS模块,重新输入不同的年份预测。

qq_42831270的博客 5813

TI官方PSpice for TI安装避坑指南:从申请Key到解决器件搜索栏空白(附详细步骤)

本文详细介绍了PSpice for TI的安装与配置全流程,包括申请Key、解决器件搜索栏空白等常见问题。通过分步指南和实战避坑技巧,帮助工程师高效完成安装并优化性能,确保电路仿真工具的正常使用。

weixin_29299807的博客 1106

Redis 高级数据结构:Bitmap、HyperLogLog、GEO 深度解析

本文深入解析了Redis三种高级数据结构及其应用场景: Bitmap(位图) 本质是String类型,支持位级操作 典型应用:用户签到系统(1.19MB存储千万用户)、布隆过滤器实现 核心命令:SETBIT/GETBIT/BITCOUNT/BITOP HyperLogLog(基数统计) 概率算法实现,误差0.81%,内存极低(12KB存储亿级数据) 典型应用:网站UV统计 核心命令:PFADD/PFCOUNT/PFMERGE GEO(地理位置)(未展开) 基于Sorted Set实现地理位置存储与查询 这些

qq_43414012的博客 1165

旋转矩阵的左乘与右乘

旋转矩阵左右乘的详细讲解

qq_46619194的博客 3331

【黑马点评项目笔记 | 实战篇】GEO、BitMap、HyperLogLog实战篇

本文总结了Redis三种高级数据结构(GEO、BitMap、HyperLogLog)在业务场景中的应用实践。GEO实现附近商户查询,通过GeoHash算法将位置数据编码存储;BitMap用于用户签到系统,极大节省存储空间;HyperLogLog以12KB固定内存完成海量UV统计。文章还分享了BitMap优化缓存穿透的创新方案,并针对版本兼容性等实际问题提供解决方案。这些案例展示了Redis作为多功能数据结构服务器的价值,为特定业务场景提供了高效优雅的解决思路。

感谢阅读。 962

C#构建企业级AI Agent框架:从架构到实践

AI Agent作为智能系统的核心组件,通过结合大语言模型(LLM)与规划引擎,实现了从简单对话到复杂任务处理的跨越。其关键技术包括记忆系统(RAG架构)和工具调用机制,前者通过向量数据库实现知识检索,后者则扩展了Agent的功能边界。在企业级应用中,这类系统能显著提升效率,如HR政策查询、IT故障排查等场景。C#凭借其强类型和高效性能,成为实现这类系统的理想选择,特别是在需要与现有企业系统集成的场景下。通过合理设计工具接口和安全防护措施,可以构建出既强大又可靠的智能助手。

weixin_33672109的博客 384

保研考研机试攻略:python笔记(4)

保研考研机试攻略:python笔记(4)二分法+最大公约数+最小公倍数+素数判断+幂次方mod方法+匹配问题+哈希算法+哈夫曼编码+二叉树

qq_63349644的博客 1099

【从零开始学习Redis】Feed_GEO_BitMap_HyperLogLog

黑马课程的代码其实是有 bug 的,不知道大家这个 Stream 消息队列实现代码测试,关闭 Spring Boot 项目时有没有报以下错误之后一番摸索,意识到当前报错是只在关闭 SpringBoot 项目时才发生,最后找到了问题所在:查看代码发现消费 Stream 阻塞队列的线程是自己用创建的。线程阻塞读取乍一看好像没问题,其实问题就出在, 自己创建的线程是独立线程,是不受 Spring 容器管的。所以在关闭 SpringBoot 项目时, Lettuce 内部 Netty 线程池已经关闭。

朝碧海而暮苍梧 1986

12.工具高级参数CogCalibNPointToNPointTool

CogCalibNPointToNPointTool是一种多点2D坐标校正工具,用于将图像像素坐标转换为物理世界坐标。该工具通过两组点(图像坐标点和物理坐标点)计算最佳转换关系,并将结果保存供后续使用。操作步骤包括获取图像、添加坐标点对、计算转换参数。校正结果会显示平移、缩放、旋转等参数及RMS误差值,较大的误差可能表明点位置不准确或自由度不足。该工具广泛应用于机器视觉领域,通过9点标定等案例可验证坐标转换的准确性并优化参数设置。

205

Redis高级数据结构深度解析:BitMap、布隆过滤器、HyperLogLog与Geo应用实践

本文将深入探讨Redis的四种高级数据结构:BitMap、布隆过滤器、HyperLogLog和Geo。通过原理剖析、命令详解、应用场景分析和代码实践,全面解析这些数据结构如何解决大规模数据存储、高效去重统计、地理位置计算等核心问题。文章包含大量实战案例和性能对比,揭示Redis如何以12.5MB存储1亿用户数据,用15KB完成百万UV统计的技术奥秘。

tr990511的专栏 1222

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Redis 高级数据结构 Bitmap HyperLogLog Geo

HyperLogLog 的结果是概率性的,因此可能会有一定的误差。它非常适合于大规模数据集执行基数估计,且不需要获取具体的数据。

happycao123的博客 550

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Redis 底层数据结构解析(六):特殊类型的巧妙实现 - Bitmap、Geo 和 HyperLogLog

Redis通过基础数据类型扩展实现三种特殊类型:Bitmap基于字符串位操作,适用于高效布尔存储;Geo基于有序集合和Geohash编码,支持地理空间查询;HyperLogLog利用概率算法实现低内存基数统计。这些类型通过算法优化(如Bitmap的SWAR计数、Geo的Haversine距离计算)在保持核心简单性的同时扩展了功能,适用于活跃统计、位置服务等场景,在空间和时间效率上均有显著优势。

NeoLshu的博客 1001

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

Redis 四种高级数据类型 BitMap、HyperLogLog、GEO 和 Stream 用法场景

BitMap、HyperLogLog、GEO 和 Stream 这些高级数据类型增强了 Redis 在特殊业务场景中的适用性,进一步提升了其在大规模、高并发场景下的灵活性与性能。

Mylqs的博客 863

Redis的BitMap、Geo、HyperLogLog使用

前言 Reids 在 Web 应用的开发中使用非常广泛,几乎所有的后端技术都会有涉及到 Redis 的使用。Redis 种除了常见的字符串 String、字典 Hash、列表 List、集合 Set、有序集合 SortedSet 等等之外,还有一些不常用的数据类型,这里着重介绍三个。下面话不多说了,来一起看看详细的介绍吧。 BitMap BitMap 就是通过一个 bit 位来表示某个元素对应的值或者状态, 其中的 key 就是对应元素本身,实际上底层也是通过对字符串的操作来实现。Redis 从 2.

weixin_42073629的博客 203

Redis中的HyperLogLog以及HyperLogLog原理

Redis中的hyperLogLog数据结构及原理

qq_42581682的博客 4222

Redis高级数据类型 :bitmap、hyperloglog和GEO

文章目录一、bitmap1. bitmap的应用2. bitmap的数据结构 一、bitmap 1. bitmap的应用 应用场景: 例如签到,打卡的应用,每天的状态只需要用一个bit来存储,就算一年365天也只需要356bit 按年去存储一个用户的签到情况,365天只需要365/8~46 Byte,1000W用户量一年也只需要44 MB就足够了。 假如是亿级的系统,每天使用1个1亿位的Bitmap约占12MB的内存(10^8/8/1024/1024),10天的Bitmap的内存开销约为120MB,内存压力

weixin_48922154的博客 637

Redis7_14 高阶篇 第五章 Redis的Bitmap/Hyperloglog/Geo案例实战

本文深入探讨了Redis的高级数据类型和应用场景,包括HyperLogLog、Geo、Bitmap等,通过具体的面试题和实战案例,展示了如何利用Redis解决实际问题。HyperLogLog用于估算集合中的基数,适合统计独立访客数;Geo用于存储和查询地理位置信息,实现“附近的人”等功能;Bitmap适用于统计用户登录状态、日活等。文章通过具体代码示例,展示了如何使用这些数据类型进行数据添加、查询和统计,有效地解决了抖音电商直播中的商品评论排序、App用户签到统计、网站UV统计等问题。

qq_33168558的博客 593

Redis高级——Bitmap 、HyperLogLog 与 GEO

介绍了三种高级数据类型 Bitmap 、HyperLogLog 与 GEO

猫头夜鹰的小屋 298

【Redis】Redis中3种特殊的数据类型(BitMap、Geo和HyperLogLog)

前言 Reids 在 Web 应用的开发中使用非常广泛,几乎所有的后端技术都会有涉及到 Redis 的使用。Redis 种除了常见的字符串 String、字典 Hash、列表 List、集合 Set、有序集合 SortedSet 等等之外,还有一些不常用的数据类型,这里着重介绍三个。下面话不多说了,来一起看看详细的介绍吧。 BitMap BitMap 就是通过一个 bit 位来表示某个元素对...

山山来驰的博客 596

redis的Bitmap、HyperLogLog、Geospatial

Bitmap(针对位操作字符串) 简介 现代计算机用二进制(位)作为信息的基础单位,1 个字节等于8位,例如"abc"字符串是由3个字节组成,但实际在计算机存储时将其用二进制表示,"abc" 分别对应的ASCII码分别是97、98、 99 ,对应的二进制分别是01100001、01100010和01100011 ,如下图 合理地使用操作位能够有效地提高内存使用率和开发效率。java中位与操作是最快的,在Redis中同样道理,(实际上是字符串)Redis提供了Bitmaps这个“数据类型”可以实现对位.

weixin_56289362的博客 1186

Redis实战篇(四、高级数据结构的使用)

综上,在本案例中, 由于是点评项目,我们选择第二种:推模式。

xpy2428507302的博客 1301

Redis高级数据结构深度解析:BitMap、布隆过滤器、HyperLogLog与Geo

通过合理运用这些高级数据结构,Redis可轻松应对日均亿级请求的高并发场景,同时保持内存消耗可控。建议根据业务特性组合使用,例如:用布隆过滤器前置保护HyperLogLog的UV统计操作。

tr990511的专栏 607
上一篇: 训练100B 以上参数需要多少硬件?
下一篇: Java快速开发框架居然没用条件化配置
旷野说
博客等级 码龄9年 361粉丝 86原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值