小 Bitmap,大优化:Databend 如何加速大规模集合聚合

SpringBoot+Vue+MySQL 高校学科竞赛平台 完整可运行版(源码+文档) 本项目基于SpringBoot+Vue+MySQL构建高校学科竞赛管理平台,覆盖学生、教师、领队教师、管理员四大角色,实现竞赛发布、报名、刷题、评分、公示等全流程闭环管理。系统架构清晰,技术主流,配套完整源码、数据库脚本、万字论文、开题报告、答辩PPT及部署文档,支持一键运行,适用于毕业设计、课程设计及院系二次开发,真正实现“开箱即用”。 阅读详情

导读:本文介绍 Databend 针对 Bitmap 聚合场景的一次性能优化:通过引入 HybridBitmap,在小集合阶段使用轻量的 SmallBitmap,只在集合真正膨胀后切换到 RoaringTreemap,避免大量小 bitmap 被过早反序列化和构造成完整大集合结构。Benchmark 显示,在大量小 bitmap 聚合场景下,bitmap_intersect、bitmap_union 等函数获得了显著性能提升。阅读时间约 6-8 分钟。


典型场景:大量小 Bitmap 参与聚合

Bitmap 函数在 SQL 数据库中常用于高效表示和加速集合计算,广泛应用于海量数据下的高维过滤与精确去重场景。目前,Databend 已支持丰富的 bitmap 计算函数,具体用法可参考产品文档。

在分布式聚合场景中,Bitmap 的经典链路为:从大量行中读取较小的 bitmap,并对它们做聚合计算,随着聚合层级向上递增,最终汇聚并输出一个包含完整交并集信息的大 Bitmap。例如:

SELECT bitmap_intersect(user_tags)
FROM events
WHERE dt = '...';

在优化前,这类查询的执行路径通常可以简化为:

row bytes -> deserialize RoaringTreemap -> aggregate state operate -> result

这个流程里有两个明显的成本点:

  • bitmap 主要以 bytes 形式存储。如果涉及大量行的计算,每行 bitmap 都反序列化为完整结构,会让读取和构造成本被行数放大。对于元素数量很少的 bitmap,更理想的方式是尽量直接基于 bytes 或轻量结构完成计算。
  • 两个 bitmap 进行计算时,需要尽可能复用已有结构,避免每次计算都重新构建 bitmap,否则会产生大量内存分配和临时对象成本。

适合哪些 Databend 查询场景

这类优化尤其适合以下 Databend 使用场景:

  • 用户标签圈选:对不同标签人群做 bitmap_intersect / bitmap_union;
  • 行为分析:计算访问、点击、购买等事件集合;
  • 漏斗分析:按步骤求用户集合交集;
  • 权限或资源集合计算:快速判断集合包含关系;
  • 大规模低基数聚合:大量行内小 bitmap 汇聚成一个结果 bitmap。

这些场景通常有一个共同特征:输入行数很大,但单行 bitmap 很小。如果每一行都构造成完整 RoaringTreemap,查询成本会被行数放大。HybridBitmap 的价值,就是让小 bitmap 尽量停留在轻量表示里,只在结果真正膨胀时再切换到 RoaringTreemap。


HybridBitmap:小集合与大集合的分层表示

Bitmap 函数主要应用在聚合场景下,而这些场景经常伴随“大量行内小 bitmap → 聚合结果逐步变大”的数据形态。因此 Databend 的 Bitmap 使用两种结构混合表示:

  • SmallBitmap:使用 smallvec 表示小集合,构造成本低。
  • RoaringTreemap:使用 Roaring Bitmap 表示大集合,适合高基数集合的压缩和计算。

状态切换遵循简单规则:

SmallBitmap → 超过阈值 → RoaringTreemap

SmallBitmap:降低小集合构造成本

SmallBitmap 使用一种特殊的 vec 结构表示:默认在元素数量较少时使用栈上空间;当超出阈值后,再转换为堆上动态存储。SmallBitmap 在修改时会通过 binary search 保证元素有序且唯一,从而保持与常规 bitmap 一致的集合语义。

由于 SmallBitmap 主要依赖栈上空间,在行内 bitmap 较小时,可以以极低成本完成反序列化和构造,从而提高大量小 bitmap 的读取效率。同时,在 xor 等中间结果可能变小的计算中,也可以尝试将大 bitmap 转回小 bitmap,减少后续物化成本。


RoaringTreemap:承接大集合压缩与计算

RoaringTreemap 是一种压缩位图算法,广泛应用于 Spark、Hive、Lucene 等高性能计算框架。相关论文可参考:https://arxiv.org/pdf/1603.06549。

压缩 bitmap 对数据库系统非常重要,否则行内 bitmap 较大时可能造成严重的读取和计算开销。虽然存在 Oracle BBC、WAH、EWAH 等成熟压缩位图格式,但这些格式不支持高效随机访问,计算交集时可能需要完整解压整个大 bitmap。

Roaring Bitmap 的特殊之处在于将数据分割为多个块,允许快速检查某个值是否存在,同时在许多场景下也能提供较好的计算性能和压缩比。当然,相对于 SmallBitmap 来说,它在低基数小集合上的构造成本仍然偏高。

基于这样的混合结构,可以在不同计算阶段选择不同表示。例如在大多数行内 bitmap 都较小的 bitmap_intersect 场景下:

  • 读取行内 bitmap 时,尽量以 small bitmap 表示 bytes。
  • 结果计算时,如果结果逐步膨胀,再切换为 RoaringTreemap。
  • 当一侧是 RoaringTreemap、另一侧是 serialized small bitmap 时,尽量直接基于 small bitmap bytes 与 RoaringTreemap 做 intersect。

这样既能利用 SmallBitmap 降低大量小 bitmap 的读取和构造成本,也能保留 RoaringTreemap 在大集合计算上的优势。


操作矩阵:不同状态下的计算路径

HybridBitmap 的核心思路不是替代 RoaringTreemap,而是在不同数据规模下选择不同计算路径,避免小 bitmap 过早承担完整 RoaringTreemap 的构造成本。

左侧状态右侧状态处理策略
SmallSmall直接在有序 small vec 上做集合运算,避免构造 RoaringTreemap
SmallLarge根据操作语义决定是否提升为 Large,例如 union/xor 可能需要膨胀,intersect/sub 可以优先保留小集合
LargeSmall遍历 small 集合,对 Large 做 contains、insert 或 remove 等局部操作
LargeLarge直接使用 RoaringTreemap 原生集合运算
Largeserialized small尽量直接基于序列化 bytes 计算,减少将每行小 bitmap 完整反序列化为 RoaringTreemap 的成本

在聚合场景下,输入通常以 bytes 的形式从列中读取。对于大量行内小 bitmap,如果每一行都先反序列化成完整 RoaringTreemap,再参与聚合计算,实际成本会远高于集合本身的大小。

通过区分 small、large 和 serialized small 的计算路径,可以让小 bitmap 尽量停留在低成本表示中,只在结果真正膨胀时再切换到 RoaringTreemap。


Benchmark:小 Bitmap 聚合性能提升

由于 PR 19041 前后的 benchmark 覆盖、函数命名和后续版本实现都有差异,这里只展示能够在两个版本之间复现和对齐的小 bitmap 聚合路径。其中 bitmap_intersect 使用 PR 19041 summary 中已有数据,bitmap_union、bitmap_intersect_empty 和 bitmap_union_disjoint 是基于相同思路在 PR 19041 前后本地补测的数据。

BenchmarkPR 19041 前 medianPR 19041 后 median性能提升
bitmap_intersect/10000015.27 ms4.729 ms69.0%
bitmap_intersect/100000001.609 s533.1 ms66.9%
bitmap_union/10000019.67 ms7.628 ms61.2%
bitmap_union/100000002.009 s831.9 ms58.6%
bitmap_intersect_empty/10000011.81 ms4.197 ms64.5%
bitmap_intersect_empty/1000000122.9 ms41.56 ms66.2%
bitmap_union_disjoint/10000036.61 ms7.236 ms80.2%
bitmap_union_disjoint/1000000345.5 ms84.98 ms75.4%

这些结果覆盖了小 bitmap 交集、并集、快速收敛为空,以及互不相交并集持续膨胀的几类路径。收益最明显的是大量小 bitmap 参与聚合计算的场景。

优化前每行 bitmap 都需要反序列化为完整 RoaringTreemap,即使每行只有几个元素,也要承担较高的构造成本;优化后 SmallBitmap 可以直接以低成本结构表示,并在计算过程中减少完整 RoaringTreemap 的创建,因此能够显著降低 CPU 与内存分配开销。


适用边界:什么时候收益最明显

这些 benchmark 主要验证大量小 bitmap 聚合路径,不代表所有 bitmap 场景都有同等收益。当输入 bitmap 或中间结果很快膨胀为大 bitmap 时,性能瓶颈会重新回到 RoaringTreemap 的大集合运算。

因此,HybridBitmap 最适合的不是“所有 bitmap 计算”,而是输入数据中存在大量小集合、且聚合过程中结果逐步变化的场景。


总结:延迟支付大 Bitmap 的成本

Bitmap 聚合的性能瓶颈并不总是来自集合运算本身,很多时候来自“为了处理一个很小的集合,过早构造了一个完整的大集合结构”。在大量行内小 bitmap 参与聚合的场景下,每一行的反序列化、对象构造和内存分配都会被行数放大,最终成为查询执行中的主要成本。

HybridBitmap 的核心价值在于延迟支付 RoaringTreemap 的成本:当 bitmap 仍然很小时,使用 SmallBitmap 保持低构造、低分配的表示;当集合真正膨胀后,再切换到 RoaringTreemap,继续利用它在大集合压缩和集合运算上的优势。这个优化并不是替换 Roaring Bitmap,而是避免在不需要 Roaring Bitmap 的阶段过早使用它。

从 benchmark 结果看,收益最明显的是大量小 bitmap 聚合的场景,例如 bitmap_intersect 和 bitmap_union。当然,当输入 bitmap 或中间结果很快膨胀为大集合时,性能瓶颈会重新回到 RoaringTreemap 的大集合运算本身,优化收益也会趋于平缓。

也正因为如此,HybridBitmap 更像是对 bitmap 生命周期的分层建模:小集合用轻量结构承接,高基数集合交还给压缩位图处理。

对 Databend 来说,这类优化的意义不只是让某几个 bitmap 函数更快。在云数仓场景下,很多查询成本来自大量细小对象的重复构造、反序列化和内存分配。HybridBitmap 体现的是 Databend 一贯的优化方向:尽量让执行路径贴近真实 workload,在不牺牲通用性的前提下,减少不必要的数据结构转换和计算开销。

这最终会体现在用户能感知到的结果上:更低的 CPU 消耗、更少的内存分配、更稳定的聚合性能,以及在用户画像、标签分析、漏斗分析等场景中更好的 cost-performance。

Python爬虫实战:爬取ETF基金持仓变化 在python复制编辑本文详细介绍了如何使用Python的Scrapy框架爬取ETF基金的持仓变化信息,包括项目的搭建、数据的提取与存储、以及数据的可视化分析。通过本项目,读者可以掌握基本的网页爬虫技术,并应用于实际的财经数据采集与分析中。 阅读详情

相关推荐

Atlas 300I Pro推理卡性能深度测试:对比业界同类产品的能效比与算力表现

本文对昇腾Atlas 300I Pro推理卡进行了深度性能评测,重点对比了其与业界同类产品的能效比与算力表现。实测数据显示,该卡在运行BERT等模型时展现出高达39.6句子/秒/瓦的卓越能效比,电力成本可降低40%以上,同时其达芬奇架构和硬件加速特征检索能力,为高密度在线推理和向量检索场景提供了强大支撑。

weixin_29031161的博客 580

Databend 开源周报第 91 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 669

RS485信号测量避坑指南:示波器抓包常见问题与波形分析技巧

本文详细解析了RS485信号测量中的常见问题与解决方案,包括差分信号测量基础、终端电阻配置、共模干扰处理等关键技巧。通过实测波形案例和优化建议,帮助工程师有效提升RS485通信的可靠性和抗干扰能力,适用于工业自动化、远程监测等场景。

kappa的博客 617

Oracle RAC VIP 与 SCAN 深入解析:负载均衡是如何实现的?

在 Oracle RAC 环境中,客户端连接数据库时,通常不会直接使用某个节点的 Public IP,而是通过 SCAN 名称访问整个集群。节点一:rac01节点二:rac02数据库服务:mes.example.comSCAN 名称:rac-scan.example.com应用程序只需要配置 SCAN 名称,就可以连接到 RAC 集群中的数据库服务。客户端访问 SCAN 后,究竟连接到了哪个节点?SCAN Listener 和 Local Listener 分别承担什么工作?

LuciferLiu_DBA 459

WinCC动态选择报警记录案例

本例中需要确认查询的时间段以及查询的关键字,然后通过一个按钮来执行报警数据查询脚本,并把查询出的结果加载到当前报警控件中。<本例中数据查询脚本的思路是根据选项组所选定的参数加载相应的归档变量到在线趋势控件,根据设定的查询时间范围设定控件时间轴的开始时间及结束时间。本文以 WinCC V8.0为例,介绍如何动态的查询WinCC报警记录,包括关键字查询/时间&关键字查询,如图1所示。<在WinCC变量管理中创建不同的变量组,并在变量组下创建相应的变量,如图2 所示(下图并非实际变量值)。

weixin_45072604的博客 2719

《从0到1:CTFer成长之路》书籍配套题目-[第二章 web进阶]文件上传

[第二章 web进阶]文件上传开始行动绕过第1个限制绕过第2个限制 介绍:记录一下笔记,方便以后迅速回忆使用。 《从0到1:CTFer成长之路》书籍配套题目,来源网站:《从0到1:CTFer成长之路》 先看一下题目源码: <?php header("Content-Type:text/html; charset=utf-8"); // 每5分钟会清除一次目录下上传的文件 require_once('pclzip.lib.php'); if(!$_FILES){ echo '

weixin_46703850的博客 3412

177.Agent-LangGraph-MCP的构成说明

MCP架构通过MCP主机、客户端与服务器的协同,实现工具、资源与提示词的统一管理。MCP服务器提供Tools、Resources、Prompts能力,MCP客户端则负责发现、调用与读取,使Agent可按需获取上下文。其核心在于将工具从Agent中抽离,封装为可复用的服务,提升灵活性与可维护性,推动AI应用高效协作。

计算机王的博客 318

RK3588 MPP,RGA,DRM,QT之RGA

RK3588多路视频采用RGA来进行混合成一帧

dreamliweiming的博客 4268

spring boot 4集成SQLLite,及其SQLLite的建库

spring boot 4集成SQLLite,及其SQLLite的建库

weixin_41463944的博客 256

机器人学(三):手眼标定

主要讲了eye-to-hand的手眼标定求解算法,包括AX=XB和AX=YB两种情况,包含SVD法、Tsai-Lenz法、最小二乘法等,从原理到解法再到算法代码实现,包括matlab代码、C++代码、库的使用等,简单明了,容易在实际项目中进行应用

行者无疆的博客 2554

雷达参数的设置

采样率又可以叫做采样速率或者,顾名思义就是每秒采集的次数。该值越高,单位时间内对信号的采集越多,采样率的单位可以用Hz或者sps表示(sps是采样率,是每秒采样点的数量,sp表示采样点数),一般1sps=1Hz。采样时间是采样点数和采样周期的乘积得到的结果。假设实际采样率为4560ksps,采样点数为256,那么采样周期为1/4560(ms),那么ADC的采样时间就为256*(1/4560)(ms)=0.056ms=56微秒。

qq_50974341的博客 1914

【基于 WebSocket 的多用户网页五子棋】—— 数据管理模块

但行好事,莫问前程

qq_42996461的博客 262

OpenClaw 深度调查:把 AI 助手做成你自己的控制平面

对 openclaw/openclaw 的完整技术尽调:Gateway 架构、Agent 运行时、工具与沙箱、30 个消息通道、181 个插件、安全信任边界、工程代价与采用建议。17 章 / 10 张图,全部数字标注口径,数据截至 2026-10-31。

厚积薄发 365

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

IDEA 简介:从零认识 IntelliJ IDEA

IDEA 全称,是由 JetBrains 公司开发的一款主流 Java 集成开发环境(IDE)。它集代码编辑、编译、调试、测试、版本控制、构建管理等功能于一体,被大量 Java 开发者视为日常开发的首选工具。所谓 IDE(Integrated Development Environment,集成开发环境),就是把写代码所需的各类工具整合到同一个界面中。相比只用文本编辑器加命令行编译,IDE 能显著减少重复操作,让开发者把精力集中在业务逻辑上。

ztI10的博客 194

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

TransactionInactiveError:await 之后事务已经不活跃了

TransactionInactiveError 出现于 IndexedDB 事务已结束(非 active 状态)时调用 put、get 等操作。常见于 await 后或 setTimeout 中执行请求,因任务已完成,事务已提交或进入 finished 状态。请求必须在创建事务的同一任务中挂起,否则无效。解决方法:在 onsuccess 回调内同步发起后续操作,或提前将所有请求挂入事务。避免在异步上下文中使用事务操作,确保请求在事务活跃期内完成。

qq_40822000的博客 161

Docker部署linkding:HTTPS与数据备份

部署私人书签库,除了让页面能够打开,还需要考虑几个实际问题:重建容器后数据是否保留、登录和保存是否正常、升级前怎样备份,以及出现 502 或 CSRF 错误时从哪里检查。本文使用 Docker Compose 部署 linkding,采用默认 SQLite 数据库,通过 Caddy 提供 HTTPS,并完成账户创建、数据持久化验证和备份。如果重建后账户或书签消失,应先检查是否换了项目目录、改了挂载路径,或者启动了另一套实例,不要急着重新初始化。遇到权限问题,应根据日志确认具体目录和运行用户,再调整权限。

tedcloud123的博客 200

云计算课程小组PPT汇报任务书

36人分为6组,每组6人;形式:生活案例调研 + 理论解读;汇报时长7‑9min;PPT建议10‑14页。

Michelle8023的博客 235

企业官网源码与数据资产交接:四项权利、五组自动检查

企业官网源码交接不仅要看压缩包,还要核域名、云资源、构建脚本、数据库恢复、权限与密钥。

sweetofmine1的博客 198

大表 ALTER TABLE 怎么做?NineData OnlineDDL 配置与执行实践

介绍NineData OnlineDDL大表变更实践,涵盖执行策略、切表控制、拷贝批次与可视化进度追踪。

dbasenewbie的博客 298

软件项目交付时,源代码之外还应该交付哪些技术资料?

软件项目交付时,除可运行程序外,还应核对源代码、数据库结构、接口文档、部署运维、测试验收和账号资产。本文从实际交付环节拆解完整资料清单,并说明合同如何约定交付范围、知识产权与维护边界。

chengduyoushu的博客 328

Java 项目实战:交友项目后台系统——网关统一鉴权与 B 端管理后台

本次改造通过引入SpringCloud Gateway实现网关统一鉴权与路由,新建mf-admin管理端复用C端域服务(Dubbo调用),实现管理员登录与用户管理四件查询。核心套路:网关白名单+双体系JWT(同工具不同payload)、管理端零直连业务库、分页形态区分(MySQL自动count/Mongo手动count)、浏览器端独立聚合。踩坑12条,附自检清单与后续改造方向,可复用于多角色后台系统。

Wang的专栏 82

Axum 初步入门学习笔记

)自定义错误实现后,可以直接作为Result的ErrAxum 是一个构建在 Tokio、Tower、Hyper 之上的 Rust Web 框架,核心能力是:Router 路由、Extractor 提取器、Tower 中间件、IntoResponse 响应机制、State 共享状态。那张分层架构图是“地图”不是“说明书”:它帮你建立全局观,但 Service、Repository、数据库、Redis、MQ 都是你自己在 Handler 内部调用的业务/基础设施层,不是 Axum 自带的。

weixin_43219667的博客 212

Agent的可观测性-trace日志与指标

本文系统阐述Agent场景下可观测性实践:通过Trace追踪对话全链路,以Span记录轮次、工具调用及参数;日志结构化并携带上下文,支持快速定位问题;指标监控轮数、工具失败率、延迟与Token消耗,实现健康度可视化。结合OpenTelemetry标准化埋点,辅以示例代码展示可落地的观测体系,确保“答得不对”时能精准溯源,告别无效会议。

D_ENG_F的博客 305

MySQL报Too many open files?句柄耗尽的排查与参数配置

文章讲清 max_connections 与 open_files_limit 两个额度、句柄被谁占走、分区表为什么最容易踩,给出从 error log 到 /proc/pid/limits 的定位顺序与句柄预算算法。

「一个在数据库赛道上边学边分享的学妹」——聚焦国产数据库/信创方向、分享学习笔记、踩坑经验和行业观察。 339

SQL Server 数据库双备份:简化配置,兼顾本地留存与异机归档

本文针对中小企业SQLServer数据库备份难题,提出简化配置与本地+异机双副本方案。传统原生备份依赖手动脚本,存在配置复杂、传输易中断、日志分散、静默失败等问题。推荐使用图形化工具实现备份、本地留存与异机同步一体化管理,支持断点续传、加密传输、自动清理与版本控制,降低运维负担。双副本策略提升数据安全性,本地快速恢复,异地防硬件故障。建议定期验证恢复流程,确保备份可用性。

2501_93776716的博客 316

Agent 安全实战:间接提示注入的四个攻击面与防御体系

当 Agent 从 "生成内容" 走向 "执行动作",安全边界就从内容合规变成了权限越界。本文拆解间接提示注入在网页抓取、工具返回值、MCP 连接器、长期记忆四个位置的真实攻击路径,对照 Claude、GPT、Gemini 在工具调用权限模型上的设计差异,给出可直接落地的五层防御体系。

阡陌数智,专注大模型网关与 LLM 工程落地 304
上一篇: 2KB histogram 背后:Databend 如何低成本追踪长尾延迟
下一篇: 从 S3 到 Databend Cloud:Airflow 数据入仓编排实践
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值