hyperloglog原理

最新推荐文章于 2024-11-05 16:40:06 发布
最新推荐文章于 2024-11-05 16:40:06 发布
阅读量253 收藏
点赞数
分类专栏： 数据结构
原文链接：https://www.huaweicloud.com/articles/4318da1b4433ab32b21e385dde2247d6.html
版权
本文探讨了将抛硬币概率问题转化为字符串哈希后的01序列，通过分析前导0出现的频率，提出采用分桶和调和平均的方法来优化统计的精确性。文章详细阐述了分桶数量和常数值等参数的微调过程，旨在提高计算效率和准确性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

思路概述

抛硬币的概率->字符串取hash之后也是01序列，也可看做抛硬币的结果->抛几次（集合中有几个元素）会出现这种前导0->不精确，所以分桶->前导0的个数直接求平均偏差大，所以求调和平均->细节微调（分桶数、constant值等）

在这里插入图片描述

HyperLogLog 算法原理，数学公式，代码实现，具体应用例子
AI天才研究院
07-25 3020
通过利用哈希函数、位掩码和基数估计的原理，它可以在较小的内存和较低的计算复杂度下，对集合中唯一元素的数量进行估计。算法使用位掩码来提取哈希值的一部分位，并统计这些位中的前导零位数。在计算机中，前导零位数（Leading Zeros）指的是一个二进制数中从最高位开始连续的零的个数。根据这个公式，我们可以通过统计不同哈希值对应位掩码的最长前导零位数，然后利用公式计算基数的估计值。这个估计值可以在使用较小的内存和较低的计算复杂度的同时，提供一个接近准确的独立访客数量的估计结果。到固定长度的二进制串。
HyperLogLog 使用及其算法原理详细讲解
热门推荐
Java框架、并发编程、分布式、微服务、Redis、HarmonyOS、中间件等技术
08-18 2万+
目录 一、简介 二、命令 2.1 PFADD key element [element …] 2.2 PFCOUNT key [key …] 2.3 PFMERGE destkey sourcekey [sourcekey …] 三、原理 3.1 伯努利试验 3.2 估值优化 3.3 HyperLogLog的实现 3.4 代码实现-BernoulliExperiment（伯努利试验） 3.5 代码实现-HyperLogLog 一、简介 首先抛出一个业务问题： 假设产品经理让你设计一
hyperloglog的原理
chang765721的博客
07-29 888
hyperloglog
HyperLogLog 的原理 详解
goTsHgo的博客
11-05 1926
HyperLogLog 是一个基于哈希的概率算法，具有非常高的内存效率，尤其适用于需要快速估算基数的大数据场景。它通过哈希映射和前导零统计来估计基数，在保证低空间复杂度的同时，仍然提供较为准确的结果。尽管它是一个近似算法，但在很多实际应用中，估算误差足够小，能够满足需求。
神奇的HyperLogLog算法
weixin_33766805的博客
08-12 558
2019独角兽企业重金招聘Python工程师标准>>> ...
HyperLogLog原理及Redis实现分析
Javax777的博客
10-17 743
在某次需求实现时，面临的业务场景是对千万级的用户id做去重。Set、HashMap等常用的数据结构都能处理这种情况，但是这些数据结构也面临这样的问题：随着数据量的增多，占用的内存空间会越来越大。 出于对人力成本和内存资源消耗的考虑，最终我们选用了HyperLogLog来完成这一任务。 什么是HyperLogLog？一个(有限)集合里不同的元素个数就称为该集合的基数(cardinality)，HyperLogLog是一种在大数据量下统计基数的算法，标准误差为0.81%。相较于其它算法，HyperLogLo
Redis的HyperLogLog原理介绍
一蓑烟雨任平生
03-09 1696
Redis 的 HyperLogLog
玩转Redis-HyperLogLog原理探索
zxiaofan.com
08-16 4344
《玩转Redis》系列文章主要讲述Redis的基础及中高级应用。本文是《玩转Redis》系列第【10】篇。本文关键字：玩转Redis、HyperLogLog原理、基数缓存、密集存储结构和稀疏存储结构。
hyperloglog原理图
最新发布
03-30
### HyperLogLog 的原理 HyperLogLog 是一种用于估算大规模数据集中不同元素数量的概率型数据结构[^3]。它的核心思想基于随机分布的特性，通过观察二进制字符串中前导零的数量来估计唯一值的数量。具体来说，对于一...
Redis中的HyperLogLog以及HyperLogLog原理
qq_42581682的博客
03-16 3476
Redis中的hyperLogLog数据结构及原理
redisHyperLogLog原理解析
qq_30095631的博客
05-04 2571
场景 做服务端的同学，应该都遇到过计数场景，比如我想知道浏览某一个web页面的总人数，总次数；查看某条热门动态的总人数总次数；购买某件商品的总人数总次数；对于总次数我们直接基于计数器累加就能很方便的解决，时间和空间复杂度都不高。而对于总人数，常规思路我们都是基于去重数据结构Set来存储，将所有访问了的用户id就存到到set中，最终获取set集合中的元素个数即为总人数。当平台量不大时可能还好，一旦访问人数过大，这将是一笔不小的存储开销，并且随着人数的不断增多，所需要的存储空间也会不断加大，这就有点头疼了。 r
HyperLogLog使用及原理
Martin的博客
07-01 8346
我们可以思考一个常见的业务问题：如果开发一个大型网站，要记录每个网页每天的UV数据，我们应该如何实现呢？ 如果统计PV那非常容易，给每个网页一个独立的Redis计数器就可以了，这个计数器的key后缀加上当天的日期。这样来一个请求，incrby一次，最终就可以统计出所有的PV数据。但是UV不一样，它要去重，也许我们可以想到一个简单的方案，为每个网页创建一个set集合来存储当天访问过此页面的用户ID...
Hyperloglog应用、原理和性能分析
m0_37558251的博客
04-10 4144
1.应用 Hyperloglog提供不精确的去重计数方案，如统计一个网站的UV(独立访客数)，同一个用户一天之内的多次请求只能计数一次，如果使用set集合来统计的话，会非常浪费存储空间。 虽然不精确但是也不是非常不精确，标准误差是0.81%。 2.原理 1.抛硬币问题 设想一个抛硬币的问题，假如你抛了很多次硬币，最多出现了两次连续的反面，我敢打赌你抛硬币的总次数不会太多，相反，如果你和我...
Redis之HyperLogLog底层原理与使用场景
chongfa2008的博客
09-10 7504
1：业务场景引入 HyperLogLog常用于大数据量的统计，比如页面访问量统计或者用户访问量统计。 ①需求：要统计一个页面的访问量(PV) ①方案：直接用redis计数器或者直接存数据库都可以 ②需求：要统计一个页面的用户访问量(UV)，即：一个用户一天内如果访问多次的话，也只能算一次 ②方案：可能会想到用SET集合来做，因为SET集合是有去重功能的，key存储页面对应的关键字，value存储对应userId ③需求：假如有几千万访问量，为了统计一个访问量，要频繁创建SET集合对象。
redis HyperLogLog原理
qq_34999565的博客
01-24 658
伯努利试验（Bernoulli experiment）是指在同样的条件下重复地、相互独立地进行的一种随机试验，其特点是该随机试验只有两种可能结果：发生或者不发生。比如抛硬币，只有正面反面两种结果。 在介绍 HyperLogLog 之前，我们可以考虑这样一个游戏：不断抛硬币，直到第一次出现正面朝上，记录总共抛了多少次。 这个游戏中，假如在某次场景下，前3次都是反面，第4次正面，问这个概率是多少？这个很简单,那么相当于平均需要玩=16次这个游戏才会出现这种场景。反过来说，如果某次游戏要抛到第4次才第一次出现.
Redis之HyperLogLog算法原理
Pekue的博客
07-19 412
Redis HyperLogLog算法原理
HyperLogLog原理与在Redis中的使用
面向对象的笔记
02-21 507
Redis-HyperLogLog 基于HyperLogLog算法，使用极小的空间完成巨量运算 Redis 中HyperLogLog 基本使用 常用命令 PFADD key element [element …]: 将任意数量的元素添加到指定的 HyperLogLog 里面。 PFCOUNT key [key …]: 计算hyperloglog的独立总数 prmerge destkey sou...
HyperLogLog 算法的原理讲解以及 Redis 是如何应用它的
qq_41076792的博客
08-27 759
1：伯努利试验 2：估算的优化（调和平均数） 3： 扯上关系 比特串 分桶 对应 伯努利试验 在认识为什么HyperLogLog能够使用极少的内存来统计巨量的数据之前，要先认识下伯努利试验。 伯努利试验是数学概率论中的一部分内容，它的典故来源于抛硬币。 硬币拥有正反两面，一次的上抛至落下，最终出现正反面的概率都是50%。假设一直抛硬币，直到它出现正面为止，我们记录为一次完整的试验，间中可能抛了一次就出现了正面，也可能抛了4次才出现正面。无论抛了多少次，只要出现了正面，就记录为一次试验。这个试验就是伯努利试验
Redis HyperLogLog 命令学习及原理浅析
u012948302的专栏
08-27 805
本文详细介绍了Redis 最新版6.2.x，HyperLogLog的指令解析和原理介绍，并配有丰富示例。通过本文，可以快速掌握Bitmap的使用方式，并理解其工作原理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值