RoaringBitmap

最新推荐文章于 2025-06-04 19:28:24 发布
最新推荐文章于 2025-06-04 19:28:24 发布
阅读量1.3k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 数据结构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/feiyingHiei/article/details/87925851
RoaringBitmap是一种高效的位图数据结构，通过独特的索引方式和三种容器(ArrayContainer，BitmapContainer，RunContainer)的智能切换，有效提升位图的内存使用效率。适用于大数据场景下的位图操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

GITHUB实现地址

RoaringBitmap

RoaringBitmap是最近刚刚看到的一个压缩位图数据结构，可以有效的提升位图的内存使用效率，整个算法基本结构并不复杂，对于2^32位的数据， 将数据分成两部分做索引，高16位主要用来用来索引container, container中存放低16位数据， 其中container的实现分成三种，ArrayContainer， BitmapContainer， RunContainer

ArrayContainer

是用一个数组来存储一个short整数， 每次插入需要使用二分查找，插入数据的时候需要进行数组拷贝，适用于数量比较稀疏的场景，数据没有压缩

BitmapContainer

当ArrayContainer的数量超过4096（可以自行计算一下存储效率）的时候，ArrayContainer变成一个BitmapContainer， BitmapContainer是一个是用位图存储，这个时候数据是压缩的

RunContainer

RunContainer比较时候存储连续数据，比如11，12，13，14，15 压缩后的数据就是11，5，

总结

RoaringBitmap是一个效率比较高的位图实现，这里只是一个简单的介绍，具体的实现可以参考github上的开源实现。

BitMap和RoaringBitmap：极致高效的大数据结构
数据与算法架构提升之路专栏
04-12 841
随着数据量持续增长，理解和利用这些高效数据结构对于使用大数据系统的开发人员和数据工程师变得越来越重要。RoaringBitmap在主要大数据框架中的广泛采用证明了其在解决实际性能挑战方面的有效性。
RoaringBitmap-0.7.45-API文档-中英对照版.zip
07-04
赠送jar包：RoaringBitmap-0.7.45.jar； 赠送原API文档：RoaringBitmap-0.7.45-javadoc.jar； 赠送源代码：RoaringBitmap-0.7.45-sources.jar； 赠送Maven依赖信息文件：RoaringBitmap-0.7.45.pom； 包含翻译后的API文档：RoaringBitmap-0.7.45-javadoc-API文档-中文(简体)-英语-对照版.zip； Maven坐标：org.roaringbitmap:RoaringBitmap:0.7.45； 标签：roaringbitmap、RoaringBitmap、中英对照文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。 双语对照，边学技术、边学英语。
Bitmap API
子墨博客
05-09 6291
1.简介Bitmap是Android系统中的图像处理的最重要类之一，通过bitmap可以获得图片的基本信息，以及对图片进行一系列的操作2.APIpublic boolean compress(CompressFormat format, int quality, OutputStream stream)把位图的压缩信息写入到指定的输出流.如果返回true，位图可以通过适当的输入流重建到BitmapF
Starrocks中RoaringBitmap杂谈
最新发布
monkeyboy_tech的博客
06-04 899
RoaringBitmap是高效压缩位图，简称RBM，它的原理是将 32bit int（无符号的）类型数据 划分为 2^16 个桶，即2^16=65536个桶，每个桶内用container来存放一个数值的低16位
RoaringBitmap-0.5.11-API文档-中文版.zip
05-01
赠送jar包：RoaringBitmap-0.5.11.jar； 赠送原API文档：RoaringBitmap-0.5.11-javadoc.jar； 赠送源代码：RoaringBitmap-0.5.11-sources.jar； 赠送Maven依赖信息文件：RoaringBitmap-0.5.11.pom； 包含翻译后的API文档：RoaringBitmap-0.5.11-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.roaringbitmap:RoaringBitmap:0.5.11； 标签：roaringbitmap、RoaringBitmap、jar包、java、中文文档； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
RoaringBitmap-0.7.45-API文档-中文版.zip
07-06
赠送jar包：RoaringBitmap-0.7.45.jar； 赠送原API文档：RoaringBitmap-0.7.45-javadoc.jar； 赠送源代码：RoaringBitmap-0.7.45-sources.jar； 赠送Maven依赖信息文件：RoaringBitmap-0.7.45.pom； 包含翻译后的API文档：RoaringBitmap-0.7.45-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.roaringbitmap:RoaringBitmap:0.7.45； 标签：roaringbitmap、RoaringBitmap、中文文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
java bitmap api,RoaringBitmap的使用
weixin_31499919的博客
03-19 1204
public class Demo {@Testpublic void test1(){// 向r1中添加1、2、3、1000四个数字RoaringBitmap r1 = RoaringBitmap.bitmapOf(1, 2, 3, 1000);// 返回第3个数字是1000System.out.println(r1.select(3));r1.add(5);// 返回10000的索引,是4Sy...
pg_roaringbitmap：PostgreSQLRoaringBitmap扩展
02-05
**pg_roaringbitmap：PostgreSQL RoaringBitmap扩展** 在数据库领域，索引是提升查询效率的关键工具。PostgreSQL，作为一款强大的开源关系型数据库系统，提供了多种索引类型以适应不同的场景需求。其中，`pg_...
RoaringBitmap-0.5.11-API文档-中英对照版.zip
04-19
赠送jar包：RoaringBitmap-0.5.11.jar； 赠送原API文档：RoaringBitmap-0.5.11-javadoc.jar； 赠送源代码：RoaringBitmap-0.5.11-sources.jar； 赠送Maven依赖信息文件：RoaringBitmap-0.5.11.pom； 包含翻译后的API文档：RoaringBitmap-0.5.11-javadoc-API文档-中文(简体)-英语-对照版.zip； Maven坐标：org.roaringbitmap:RoaringBitmap:0.5.11； 标签：roaringbitmap、RoaringBitmap、jar包、java、API文档、中英对照版； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。 双语对照，边学技术、边学英语。
Redis bitmap数据格式优化 (RoaringBitmap)
琪琪的博客
05-10 3310
1. Key-Value 存储 尝试插入1kw条数据, key为设备MD5值, value为1, 此时Redis中存在1kw条key-value键值对. 通过info指令查看内存占用: 1kw数据key-value占用内存 结论: 可以看到, 1kw条MD5数据占用Redis内存约为892MB; 这还只是一个客户上传的人群包, 如果上传的人群包较多, 则Redis需要大量的集群部署, 成本会及其大; 无论是采用List, Hash, Set等结构都会出现这种情况, 所以Redis的这些数据
redis-roaring:Redis咆哮的位图
05-24
重传 Redis咆哮的位图 介绍 该项目使用库为Redis实现咆哮位图命令。 根据微基准测试，这些命令可以与Redis的O（1）操作本机位图具有相同的性能，并且O（N）调用的，同时比未压缩的对等方消耗的内存更少（基准测试未决）。 拉请求是受欢迎的。 依存关系 CRoaring（此redis模块使用的位图压缩库） cmake（编译源代码所需的构建工具） redis（集成测试所需的服务器） hiredis（性能测试所需的redis客户端库） 已知的问题 该库仅适用于（例如，计数最大为4294967296的数字） 入门 $ git clone https://github.com/aviggiano/redis-roaring.git $ cd redis-roaring/ $ configure.sh $ cd dist $ ./redis-server ./redis.conf
RoaringBitmap, 在Java中，一个更好的压缩 bitset.zip
09-18
RoaringBitmap, 在Java中，一个更好的压缩 bitset RoaringBitmap Bitsets，也称为位图，通常用作快速数据结构。 不幸的是，他们可以使用太多的内存。 为了补偿，我们经常使用压缩位图。咆哮位图是压缩位图，它比传统压缩位图如 WAH 。EWAH或者简洁
BitMap解析之RoaringBitMap
flyingmylife的博客
01-10 4344
深入理解压缩位图RoaringBitMap
三种 Bitmap 之 RoaringBitmp(压缩 Bitmap)
yin__ren的博客
11-19 2456
<dependency> <groupId>org.roaringbitmap</groupId> <artifactId>RoaringBitmap</artifactId> <version>0.9.0</version> </dependency>
【redis】bitmap技术解析：redis与roaringBitmap
九师兄
12-11 517
然后再看这个好理解一些。bitmap的表象意义是，使用一个01标识位来表示是否的状态，可以达到节省空间和高效判定的效果。在我们的实际工作中，也有着许多的应用场景，相信了解bitmap定会给你带来一些额外的收获。
RoaringBitmap的原理与应用，看这个就够了
热门推荐
penriver的博客
08-20 2万+
RoaringBitmap的原理与应用，看这个就够了 针对RoaringBitmap的实现思路，container的类型及读取性能进行介绍，并给出JAVA使用示例
谈谈Roaring Bitmap
TheLudlows的博客
01-19 2313
BitMap/BitSet被广泛的应用于数据查询中，但其由于数据稀疏造成的内存浪费也不可忽视，因此对压缩BitMap的探索一直在进行，比较知名的有WAH、EWAH、Roaring Bitmap等。其中性能最好并且应用最为广泛的当属Roaring Bitmap，比如Spark、Lucene、Redis、Influxdb等著名项目中都可以看到Roaring Bitmap身影，下面就谈谈Roaring ...
Redis bitmap、hyperlog、布隆过滤器、RoaringBitmap原理应用场景与日活的统计的具体应用
S_ZaiJiangHu的博客
07-07 4199
缺点： 1.空间占用大2.统计逻辑复杂，比如统计最近 30 天用户的累计活跃天(每个用户在 30 天里有 N 天使用 app，N 为 1-30，然后将月活跃用户的 N 天加总)？统计最近 7 天的用户累计使用时长？统计最近 30 天有播放的累计用户数？统计最近 30 天活跃用户有多少在最近 30 天里有连续 3 天及以上活跃？统计 28 天前活跃用户的 1、3、7、14、28 天留存率？3、mysql性能消耗大， 4、以上统计逻辑可扩展性差，由于数据分析经常进行探索性分析，上面传统方案能解决上面几个问题，但
RoaringBitmap with Understanding
多头注意力探索Now
04-25 884
bit map 知识
Roaringbitmap
01-09
### RoaringBitmap 数据结构实现 Roaring Bitmap 是一种高效且灵活的位图压缩数据结构，能够针对不同类型的输入数据自动调整内部表示方式以达到最佳的空间和时间效率[^3]。 #### 内部机制 Roaring Bitmap 将整个位图分割成多个长度固定的区间（通常是 2^16），每个区间的索引称为容器。对于每一个容器，根据其包含的有效位的数量来决定采用何种具体的数据结构： - **数组(Array)**：当有效位较少时使用，适合稀疏分布的情况； - **BitSet**：当有效位较多接近满载时使用，适用于密集型场景； - **Run Container**：专门用来处理连续序列，可以极大减少内存占用并加速某些操作的速度。 这种设计使得 Roaring Bitmap 在面对各种形态的数据集时都能保持较高的性能水平。 ```cpp // C++ 示例代码展示如何创建和操作 Roaring Bitmap 对象 #include "roaring/roaring.h" int main() { roaring_bitmap_t *rb = roaring_bitmap_create(); // 添加单个元素 roaring_bitmap_add(rb, 1); roaring_bitmap_add(rb, 2); // 批量添加范围内的整数 for(int i=10;i<20;++i){ roaring_bitmap_add(rb,i); } // 进行交集计算 roaring_bitmap_t* rb2 = /* ... */; roaring_bitmap_andnot_inplace(rb, rb2); roaring_bitmap_free(rb); } ``` ### 应用实例 在 Greenplum Database (GPDB) 中实现了对 Roaring Bitmap 的支持，这不仅提高了系统的查询速度还减少了所需的磁盘空间。特别是在涉及大量布尔向量运算的任务里表现尤为突出，比如用户行为追踪、广告投放效果评估等领域都可以看到它的身影[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值