精确去重和Roaring BitMap

最新推荐文章于 2025-05-17 11:59:29 发布
原创 最新推荐文章于 2025-05-17 11:59:29 发布 · 置顶 · 4.2k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#去重 #大数据 #位运算

精确去重和Roaring BitMap

互联网行业常见的一个业务需求就是求UV(日活)和N日留存，这就涉及到去重计数(COUNT DISTINCT)的计算.

BitMap概述

精确去重算法主要通过BitMap来实现，它本质上是定义了一个很大的 bit 数组，每个元素对应到 bit 数组的其中一位

一个Integer是32-bit, 一共有Integer.MAX_VALUE = 2 ^ 32个值，对于原始的Bitmap来说，这就需要2 ^ 32长度的bit数组
通过计算可以发现(2 ^ 32 / 8 bytes = 512MB), 一个普通的Bitmap需要耗费512MB的存储空间
不管业务值的基数有多大，这个存储空间的消耗都是恒定不变的，这显然是不能接受的
而Roaring Bitmap作为压缩性能更好的位图索引，广泛应用于众多成熟的开源大数据平台(Kylin、Druid、ES等)

对于非Integer类型的数据(比如String类型)，可以通过数据字典映射成Integer

Roaring Bitmap的数据结构

  • Roaring bitmap用来表示所有32-bit的unsigned integer的集合(共2 ^ 32 = 42 9496 7296个)
  • 这个数足够覆盖一款产品的用户量了

Roaring bitmap的数据结构为Key-Value的键值对:

  • Key: 根据业务值整数的high 16-bits进行分桶(共2 ^ 16 = 65536个), 每一个Roaring Bitmap的Key值(first-level)都存放在short(16-bit)类型的有序数组中: short[] keys
  • Value: 用于存放业务值整数的low 16-bits的一个container. 每一个Roaring Bitmap有一个Container数组: Container[] values

最低0.47元/天 解锁文章

200万优质内容无限畅学
【大数据】稀疏位图存储、RoaringBitmap、布隆过滤器，判断元素是否在集合、精确去重
九师兄
07-25 343
是一种基于位图的数据结构，可以高效地存储大量的非负整数，并支持多种集合运算，如并集、交集、差集等。它可以高效地判断一个元素是否在集合中，并且可以使用很少的空间来存储集合。本文阐述了 RoaringBitmap的基础原理、数据结构和 Container 源码，也列举了 Go 语言常用的位运算。因为最近在业务场景里使用到了 RoaringBitmap。在大数据的应用场景使用 RoaringBitmap 确实能够达到降本增效的作用。
第6.7章：StarRocks查询加速——使用 Bitmap 实现精确去重
爱吃辣条的博客
07-28 2117
第6.7章：StarRocks查询加速——使用 Bitmap 实现精确去重
三种 Bitmap 之 RoaringBitmp(压缩 Bitmap)
yin__ren的博客
11-19 2454
<dependency> <groupId>org.roaringbitmap</groupId> <artifactId>RoaringBitmap</artifactId> <version>0.9.0</version> </dependency>
RoaringBitmap, 在Java中，一个更好的压缩 bitset.zip
09-18
RoaringBitmap, 在Java中，一个更好的压缩 bitset RoaringBitmap Bitsets，也称为位图，通常用作快速数据结构。 不幸的是，他们可以使用太多的内存。 为了补偿，我们经常使用压缩位图。咆哮位图是压缩位图，它比传统压缩位图如 WAH 。EWAH或者简洁
Bitmap原理及Hive去重方式对比
认真学代码的shell
05-17 1240
Bitmap（位图）是一种用位（bit）来表示数据集合的数据结构。一个长度为N的bitmap，每一位对应一个元素的状态（0或1）。例如，数字集合 {1, 3, 4}，用bitmap表示就是第1、3、4位为1，其余为0。单位含义大小关系1 bit (b)最小数据单位，0或11 Byte (B)8 bit1 B = 8 b1 KB1024 Bytes方式功能描述优点缺点统计某列中不同值的数量简单直接，Hive原生支持对大数据量去重性能差，容易导致内存溢出，计算慢。
Roaring BitMap(高效压缩位图)
热门推荐
GGBOOMi的博客
10-28 1万+
为了解决位图稀疏存储浪费空间的问题，出现了很多稀疏位图的压缩算法，RoaringBitmap就是其中的优秀代表。Roaring Bitmap是高效压缩位图，简称RBMRBM的历史并不长，它于2016年由S. Chambi、D. Lemire、O. Kaser等人在论文与中提出.
BitMap(三)：RoaringBitmap
weixin_43837229的博客
11-09 478
Roaring Bitmap的算法是将整数的32-bit的范围 ([0, n]) 划分为 2^16 个数据块（Chunk），每一个数据块对应整数的高16位，并使用一个容器（Container）来存放一个数值的低16位。 Roaring Bitmap将这些容器保存在一个动态数组中，作为一级索引。容器使用两种不同的结构： 数组容器（Array Container）和 位图容器（Bitmap Container）。数组容器存放稀疏的数据，位图容器存放稠密的数据。如果一个容器里面的整数数量小于4096，就用数组容器
Flink RoaringBitmap去重
weixin_44996457的博客
09-25 1224
Roaring64Bitmap 去重只适合去重整形情况
BitMap与RoaringBitMap
专注数据库、大数据领域干货分享，用严谨的数据技术广交天下朋友。
09-10 339
一、BitMap Bit...
flink：RoaringBitmap在亿级用户实时UV精确去重中应用
ice-wee的专栏
07-04 2575
RoaringBitmap 是压缩位图，其性能往往优于传统的压缩位图，例如 WAH、EWAH 或 Concise。某些情况下可以快数百倍，甚至可以比未压缩的位图更快。RoaringBitmap 常用于去重、标签筛选、时间序列等计算中。
Bitmap、Roaring Bitmap、HyperLogLog对比介绍
最新发布
认真学代码的shell
05-17 364
Bitmap是一种用位（bit）来表示集合元素是否存在的数据结构。每个位代表一个元素的状态（0或1），非常节省空间且支持快速集合操作。特性Bitmap（普通）用途精确存在标记压缩位图，精确存在标记近似基数估计（distinct count）空间效率低，稠密数据适合高，适合稀疏和稠密混合极高，超大数据量操作效率快快，支持高效集合操作快，适合流式计算支持操作交集、并集、差集交集、并集、差集只能估计基数是否有误差无无有，误差约1-2%能否返回元素能（通过位图索引）能（通过解码）不能。
PyRoaringBitMap:一个高效且轻量级的32位整数有序集
05-15
一个高效且轻量级的32位整数的有序集。 这是C库的Python包装器。 例子 您可以像在代码中设置的经典Python一样使用位图： from pyroaring import BitMap bm1 = BitMap () bm1 . add ( 3 ) bm1 . add ( 18 ) bm2 = BitMap ([ 3 , 27 , 42 ]) print ( "bm1 = %s" % bm1 ) print ( "bm2 = %s" % bm2 ) print ( "bm1 & bm2 = %s" % ( bm1 & bm2 )) print ( "bm1 | bm2 = %s" % ( bm1 | bm2 )) 输出： bm1 = BitMap([3, 18]) bm2 = BitMap([3, 27, 42]) bm1 & b
python实现bitmap数据结构详解
12-23
bitmap是很常用的数据结构，比如用于Bloom Filter中；用于无重复整数的排序等等。bitmap通常基于数组来实现，数组中每个元素可以看成是一系列二进制数，所有元素组成更大的二进制集合。对于Python来说，整数类型默认是有符号类型，所以一个整数的可用位数为31位。bitmap实现思路 bitmap是用于对每一位进行操作。举例来说，一个Python数组包含4个32位有符号整型，则总共可用位为4 * 31 = 124位。如果要在第90个二进制位上操作，则要先获取到操作数组的第几个元素，再获取相应的位索引，然后执行操作。上图所示为一个32位整型，在Python中默认是有符号类型，最高位为
RoaringBitmap：Java中更好的压缩位集
02-03
咆哮位图 位集（也称为位图）通常用作快速数据结构。 不幸的是，它们会占用过多的内存。 为了补偿，我们经常使用压缩的位图。 咆哮的位图是压缩的位图，其性能通常优于传统的压缩位图，例如WAH，EWAH或Concise。 在某些情况下，咆哮的位图可以快数百倍，并且它们通常可以提供更好的压缩效果。 它们甚至可以比未压缩的位图更快。 咆哮的位图在许多重要应用中均能很好地工作： 尽可能使用Roaring进行位图压缩。 不要使用其他位图压缩方法（ ） 做出使我的软件运行速度提高5倍的荣誉（BigML的Charles Parker） 该库由 ， ， （ ） （ ） ， ，
RoaringBitmap数据结构以及精确去重UDAF实现
qq_35671159的博客
05-06 2039
一、位图(Bitmap) 1、什么是比特(bit) 1）它是英文 binary digit 的缩写 2）它是计算机内部存储的最小单位，用二进制的0或者1来表示 3）1 Byte = 8 bit；1024 Byte = 1 Kb；1024 Kb = 1 Mb；1024 Mb = 1 Gb；1024 Gb = 1 Tb 2、引子 给出40亿个连续不重复且无序的无符号int型整数，目前条件是只有一个2G内存的PC，需要判断出某个数字是否在给出的这40亿个数字里面 ...
bitmap bitset roaringbitmap 三者的联系以及原理简单使用
T-Whong
10-26 846
bitmap ： Bit-map的基本思想就是用一个bit位来标记某个元素对应的Value，而Key即是该元素。由于采用了Bit为单位来存储数据，可以很大力度的节省空间，常用于对大量整数做去重和查询操作。 bitset ： BitSet就是实现了Bit-Map算法。BitSet位于java.util包下，从JDK1.0开始就已经有了。该类实现了一个按需增长的位向量。位集的每一个组件都有一个boolean类型的值。 BitSet的每一位代表着一个非负整数。可以检查、设置、清除单个位。一个BitSet可以通过.
RoaringBitmap运行机制解析
md_2014的博客
12-22 559
背景 用于将int类型转换成bitmap类型 public static RoaringBitmap bitmapOf(final int... dat) { final RoaringBitmap ans = new RoaringBitmap(); ans.add(dat); return ans; } 运行机制 初始化bitmap final RoaringBitmap ans = new RoaringBitmap(); 在初始化过程中，无参构造器会新建一个Roari
人大金仓数据库KingbaseES roaringbitmap扩展的使用介绍
arthemis_14的博客
12-13 1129
为了解决位图稀疏存储浪费空间的问题，出现了很多稀疏位图的压缩方法，Roaring Bitmap就是其中的一种。Roaring Bitmap（高效压缩位图）是一种高效的Bitmap压缩算法，常用于标签筛选、去重、时间序列等计算中。roaringbitmap通过逻辑复杂度来换空间时间复杂度的方法对存储性能进行优化。KES使用时需要注意：1. 此扩展非内置扩展。2. 可重定位：alter extension能把扩展换schema。3. 支持在oracle、pg模式下创建此扩展，其他模式下不支持。
Bitmap、RoaringBitmap原理分析
京东科技开发者
03-24 463
在处理海量大数据时，我们常常会使用Bitmap，但假如现在要向Bitmap内存入两个pin对应的偏移量，一个偏移量为1，另一个偏移量为100w，那么Bitmap存储直接需要100w bit的空间吗？数据部将偏移量存入Bitmap时，又如何解决数据稀疏问题呢？本文将为大家解答
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值