内核中bitmap的使用

  bitmap用于实现bool的数组,标识一个事件发生没发生。可以理解为bitmap处理的是有没有的问题。bitmap将一片连续的空间作为一个数据类型,其中的成员都是1位,长度是bitmap的容量。

声明一个 bitmap

DECLARE_BITMAP 宏

#define DECLARE_BITMAP(name,bits) \
    unsigned long name[BITS_TO_LONGS(bits)]
#define BITS_TO_LONGS(nr)    DIV_ROUND_UP(nr, BITS_PER_BYTE * sizeof(long))
#define DIV_ROUND_UP(n,d) (((n) + (d) - 1) / (d))
#define BITS_PER_BYTE        8

根据上边的定义,可以解析成

  • 在32位系统下:DECLARE_BITMAP(name, bits)  == unsigned long name[(bits+31)/32]
  • 在64位系统下:DECLARE_BITMAP(name, bits)  == unsigned long name[(bits+63)/64]

声明一个保存数据类型是 unsigned long 类型的结构体,整个的数组成员,我们看做是保存了 bits 个位的容器。

参数:

  • name,保存位的 unsigned long 类型的数据保存在内存中的首地址,或者是bitmap的首地址
  • bits,我们要用到多少位,或者是bitmap中元素个数

假设我们要一个能存储32个bit的bitmap,我们只需要定义一个含一个 unsigned long 类型的数组就可以,即unsigned long

<think>我们注意到用户的问题是关于在PostgreSQL中创建图索引(bitmap)的方法。然而,根据引用[4],PostgreSQL默认提供的索引类型包括B-树、哈希、GIST、SP-GiST和GIN,并没有直接称为“图索引”的类型。这与Oracle中的图索引不同。 但是,引用[3]提到了PostgreSQL中的bitmap scan,这是一种执行计划技术,它利用多个索引的图进行组合(如AND/OR操作)来加速查询。这种bitmap scan可以结合多个B-tree索引来模拟图索引的行为,但并不是在创建索引时指定为图索引。 另外,引用[1]提到了PostgreSQL的扩展pg_roaringbitmap,它基于Roaring Bitmap技术,为PostgreSQL提供了高效的图处理能力。用户可以通过安装此扩展来使用图索引的功能。 因此,回答用户的问题需要分两部分: 1. PostgreSQL原生并不支持像Oracle那样的图索引类型,但可以通过图扫描(Bitmap Scan)技术利用多个B-tree索引进行组合查询。 2. 通过安装扩展pg_roaringbitmap,可以在PostgreSQL中使用压缩图索引,从而支持高效的图操作。 下面我们详细说明这两种情况: </think>在 PostgreSQL 中创建和使用图索引的方法与传统关系型数据库(如 Oracle)有显著差异。以下是具体实现方法和技术解析: ### 一、原生 PostgreSQL 的图扫描机制 PostgreSQL **原生不提供直接创建图索引**的语法(如 Oracle 的 `CREATE BITMAP INDEX`),但通过**图扫描(Bitmap Scan)** 技术可模拟图索引功能,这是查询优化器的核心特性[^3]。 **实现原理**: 1. **多索引组合** 优化器自动将多个 B-tree 索引的扫描结果转换为图: ```sql -- 创建常规B-tree索引 CREATE INDEX idx_c1 ON t(c1); CREATE INDEX idx_c2 ON t(c2); /* 执行组合查询时自动触发图扫描 */ EXPLAIN SELECT * FROM t WHERE c1 = 10 AND c2 = 20; ``` ```bash Bitmap Heap Scan on t Recheck Cond: ((c1 = 10) AND (c2 = 20)) -> BitmapAnd -> Bitmap Index Scan on idx_c1 Index Cond: (c1 = 10) -> Bitmap Index Scan on idx_c2 Index Cond: (c2 = 20) -- 自动合并图[^3] ``` 2. **图生成过程** 每个索引扫描生成一个图向量(每个页面对应1),通过逻辑运算(AND/OR)合并: $$ \text{Bitmap}_{\text{result}} = \text{Bitmap}_{c1=10} \land \text{Bitmap}_{c2=20} $$ 3. **适用场景** - 多列组合查询(`WHERE col1=A AND col2=B`) - 相同列的多查询(`WHERE col IN (1,2,3)`) - 低基数数据过滤(如状态标志) ### 二、通过扩展实现真图索引 使用 **pg_roaringbitmap** 扩展可实现压缩图索引,大幅提升海量数据处理效率[^1]: **安装与使用**: 1. 安装扩展: ```bash # 编译安装 git clone https://github.com/ChenHuajun/pg_roaringbitmap cd pg_roaringbitmap && make install # 数据库启用 CREATE EXTENSION roaringbitmap; ``` 2. 创建图列: ```sql ALTER TABLE users ADD COLUMN tags_bitmap roaringbitmap; ``` 3. 图数据操作: ```sql -- 设置标签 (bit置1) UPDATE users SET tags_bitmap = rb_set(tags_bitmap, 5) WHERE id=100; -- 查询包含标签5的用户 SELECT id FROM users WHERE rb_contains(tags_bitmap, 5); -- 多标签交集运算 SELECT rb_and_cardinality(tags_bitmap, rb_build(ARRAY[5,7])) FROM users WHERE id=100; ``` ### 三、性能对比与选择建议 | **场景** | **图扫描** | **pg_roaringbitmap** | |------------------------|--------------------------------------|------------------------------| | 实现方式 | 优化器自动组合B-tree索引 | 需要显式创建图列 | | 存储效率 | 依赖基础索引大小 | 高压缩比(Roaring Bitmap)[^1] | | 适用数据量 | 千万级以下 | 亿级以上 | | 典型用例 | OLTP多条件筛选 | 用户标签系统/实时分析 | | 写入性能 | 无额外开销 | UPDATE需重建图 | > ⚠️ **注意**:图扫描是PostgreSQL内核功能,无需额外配置;pg_roaringbitmap适合超大规模数据集,但需改造表结构。 ### 四、优化实践 1. **启用并行扫描**(PostgreSQL 11+): ```sql SET max_parallel_workers_per_gather = 4; ``` 2. **控制图内存**: ```sql SET work_mem = '64MB'; -- 增加内存提升合并性能 ``` 3. **GIN索引替代方案**(针对数组类型): ```sql CREATE INDEX idx_tags ON users USING GIN(tags); -- 查询:WHERE tags @> ARRAY['VIP','active'] ``` ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值