实时计算工具库 stream-lib 唯一值计算 HyperLogLog

wwq_vracle

于 2019-07-12 09:44:19 发布

阅读量550

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/wwq_vracle/article/details/95590604

独立访客（UV）是网站重要指标，通常用 UUID 或 IP 地址记录跟踪。使用 HashSet 计算 UV 准确值会占用大量空间，而 HyperLogLog 是一种近似算法，可解决唯一值计算问题，对超 10^9 个唯一值计算时标准差 2%，仅占 1.5 kB 内存。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

独立访客（UV）是网站的重要指标之一。我们通常会为每一个用户生成一个 UUID，并在 HTTP Cookie 中记录和跟踪，或直接使用 IP 地址做近似计算。我们可以使用一个 HashSet 来计算 UV 的准确值，但无疑会占用大量的空间。HyperLogLog 则是一种近似算法，用于解决此类唯一值计算的问题。该算法在对超过 10^9 个唯一值进行计算时可以做到 2% 的标准差，并只占用 1.5 kB 内存。
maven坐标

<dependency>
  <groupId>com.clearspring.analytics</groupId>
  <artifactId>stream</artifactId>
  <version>2.9.5</version>
</dependency>

效果演示