redis hyberloglog代码分析

最新推荐文章于 2025-03-11 06:00:00 发布
原创 最新推荐文章于 2025-03-11 06:00:00 发布 · 181 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

探讨了位运算和稀疏存储在代码实现中的复杂性，指出若采用uint8_t类型并聚焦密集存储，代码将更为简洁易懂。

原理很容易理解，但是各种位运算和稀疏存储吧代码搞得很复杂，如果每个篮子是一个uint8_t,只看密集存储的话，代码会容易理解很多。
http://blog.51cto.com/13732225/2167661

xuf_csdn
关注
Redis系列-HyberLogLog 算法
zhuohuashiyi
10-21 812
相信很多同学在面试的时候都遇到过一些大数据题目， 我的很大，你忍一下。假设现在面试官就现场出了一道题，有一个日活量很高的网站，现在需要你大致统计一下这个网站的日活量，但是呢，这个电脑可用的内存，只有几十KB，如何较为精确地统计网站的日活量？如何解决这个问题，就需要用到HyberLogLog算法。HyberLogLog算法是一种概率性统计算法，其可以仅用12kb的内存大小统计2642^{64}264个数的基数（不同个数），而误差不会超过1%。
Redis 源码硬核解析系列专题 - 第一篇：Redis源码入门与整体架构
最新发布
资深架构师分享：深入剖析软件架构，探讨云计算、微服务、大数据等前沿技术。分享实践经验，促进技术交流，共同构建卓越系统。
03-29 1077
收获：理解Redis启动与事件循环的核心逻辑。调试技巧：用gdb附加到Redis进程，设置断点（如aeMain），单步跟踪。下一步：深入数据结构（如SDS）或网络层。
redis个人源码分析1----hyperloglog（golang实现）
weixin_33937913的博客
11-17 499
1 基数统计 HLL算法用来进行基数统计。 什么是基数统计：例如给你一个数组[1,2,2,3,3,5,5] ,这个数组的基数是4（一共有4个不重复的元素）。 好了现在知道什么是基数统计了。 对于这个问题，最容易想到的办法当然是使用bitmap来实现，每个bit位表示一个数字是否出现过，比如要表示上面这串数字使用下面的bitmap来表示： 011101 优点：相对省空间，且合并操作简单，比如上面...
结合redis设计与实现的redis源码学习-10-hyperloglog（基数统计）
YangGangAVA的博客
10-29 696
hyperloglog是redis用来做基数统计的算法，优点是在输入元素的数量或者体积非常大时，基数所需的空间是固定的，并且是很小的，在redis中，每个hyperloglog键只需要花费12kb内存，就可以计算接近2^64个不同元素的基数；但是因为它智慧根据输入元素来计算基数，而不会储存输入元素本身，所以不能像集合那样，返回输入的各个元素。 它定义在hyperloglog.c中，因为对这个算法完
Redis数据结构-HyperLogLog
silly8543
08-31 229
Redis数据结构HyperLogLog键，使用常量空间估算大量元素的基数
HyperLogLog简介
记录并分享
09-07 1220
HyperLogLog，是一种概率数据结构，简介HLL，算法来源于伯努利实验。
高压缩空间占用的 Hyper LogLog 算法
小海的专栏
11-27 1088
高压缩空间占用的 Hyper LogLog 算法
精选资源
redis源码资源下载
05-24
Redis（Remote Dictionary Server），即远程字典服务，是一个开源的、高性能的、基于内存的Key-Value数据库，它使用ANSI C语言编写，支持网络，并提供了多种语言的API。Redis以其丰富的数据结构、高性能、持久化特性...
Redis源代码分析.pdf
09-13
Redis源代码分析 Redis是一款开源的Key-Value存储引擎，支持多种值类型，如string、hash、list、set和sorted set等。 Redis源代码分析文档对Redis的源代码进行了深入分析，涵盖了Redis的基本功能、服务器模型、事件...
Spring 源码硬核解析系列专题（十九）：Spring Data Redis 的 Redis 数据操作源码解析
资深架构师分享：深入剖析软件架构，探讨云计算、微服务、大数据等前沿技术。分享实践经验，促进技术交流，共同构建卓越系统。
03-11 1638
在前几期中，我们从 Spring 核心到 Spring Boot 的多个模块，再到 Spring Web Services，逐步揭示了 Spring 生态在分布式系统中的广泛应用。Spring Data Redis 是 Spring Data 家族的一部分，提供了对 Redis（键值存储数据库）的集成支持，简化了数据操作。本篇将深入 Spring Data Redis 的源码，剖析其核心机制与实现原理，并补充图示。
八：Redis-Hyperlog基数统计详解和Bitmap位图场景详解
niannujiao6的博客
09-16 1358
Hyperlog 基数 A{1 2 3 4 5} B{4 5 6 7 8} 基数：8（统计去除重复元素的个数） 优点 占用内存是固定的，只需要占用12kb的内存！但是有0.81%的错误率，用于统计网页访问人数是可以接受度的。 基数统计 127.0.0.1:6379> pfadd key1 1 2 3 4 5 #向key1中添加值 (integer) 1 127.0.0.1:6379> pfcount key1 #统计key1值的个数 (integer) 5 127.0.0.1:6
hyperloglog实战 - 你的过滤器选对了吗？
taishanduba的专栏
08-11 342
一、业务背景 最近接到一个统计需求，为了监控视频效果，我们每次浏览视频都要记录uv。当量小的时候，没有问题，随着用户量的的增长，占用空间大的问题开始暴露。假如有1000万用户，采用set结构记录UV，我们只存储int类型的用户id，1000万*4byte/1024kb/1024mb=38.14G，这是一个视频一天的数据，很明显存储成本太高，必须找到一种既能满足需求，又很少占用空间的方案。 二、技术选型 经过调研，找到了以下几种技术方案，下面一一分析。 1、flink的state去重 MapState 是 F
Redis高级特性(三)-HyerLogLog高效统计
kiranet的专栏
08-06 344
2. 命令 2.1 添加数据 pfadd testlog "123" "321" "123" 2.2统计 pfcount testlog 2.3 合并 pfadd testlog2 "567" "321" "123" pfmerge mergelog testlog2 testlog pfmerge可以对多个HyerLogLog进行并集 3. HyerLogLog优缺点
Redis之HyperLogLog底层原理与使用场景
chongfa2008的博客
09-10 7626
1：业务场景引入 HyperLogLog常用于大数据量的统计，比如页面访问量统计或者用户访问量统计。 ①需求：要统计一个页面的访问量(PV) ①方案：直接用redis计数器或者直接存数据库都可以 ②需求：要统计一个页面的用户访问量(UV)，即：一个用户一天内如果访问多次的话，也只能算一次 ②方案：可能会想到用SET集合来做，因为SET集合是有去重功能的，key存储页面对应的关键字，value存储对应userId ③需求：假如有几千万访问量，为了统计一个访问量，要频繁创建SET集合对象。
Redis_HyperLogLog结构
pseudonym_的博客
02-24 2071
redis中关于专用提供给基数使用的HyperLogLog结构的简单介绍和简单命令。
Redis系列(四)--HyperLogLong入门实战和详解
weixin_33749131的博客
03-31 3906
2019独角兽企业重金招聘Python工程师标准>>> ...
神奇的HyperLogLog算法【转载 #涉及到数学原理】
热门推荐
G.D.Retop的专栏
08-16 3万+
原文链接：http://rainybowe.com/blog/2017/07/13/%E7%A5%9E%E5%A5%87%E7%9A%84HyperLogLog%E7%AE%97%E6%B3%95/index.html?utm_source=tuicool&utm_medium=referral 神奇的HyperLogLog算法 基数计数基本概念 基数计数(car
Redis-HyperLogLog内部实现原理源码解析
哆啦A梦
01-17 6739
1、HyperLogLog算法时一种非常巧妙的近似统计大量去重元素数量的算法，它内部维护了16384个桶来记录各自桶的元素数量，当一个元素过来，它会散列到其中一个桶。当元素到来时，通过 hash 算法将这个元素分派到其中的一个小集合存储，同样的元素总是会散列到同样的小集合。这样总的计数就是所有小集合大小的总和。使用这种方式精确计数除了可以增加元素外，还可以减少元素。 一个HyperLogLo...
Redis源码阅读
学而不精不如回家种田
03-18 1万+
Redis源码阅读 文章目录Redis源码阅读1 数据结构1.1 动态字符串SDS1.2 双向链表ADLIST1.3 字典 DICT1.4 跳跃表1.5 hyperloglog2 内存编码2.1 整数集合intset2.2 压缩列表ziplist3 数据类型的实现3.1 Object4 数据库的实现5 客户端和服务器 1 数据结构 1.1 动态字符串SDS Redis自己实现了动态字符串，相关的源...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值