Doris-前缀索引

已于 2024-03-11 14:41:32 修改
阅读量864 收藏 2
点赞数 3
文章标签： 数据库
于 2024-03-11 14:26:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_51450341/article/details/136623003
版权
本文介绍了Doris数据库的两种主要索引类型——内建的前缀索引和用户自定义的BloomFilter和Bitmap倒排索引。重点讲解了前缀索引的工作原理、匹配规则以及如何通过ROLLUP调整列顺序以提升查询性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Doris索引：用于快速过滤或查找数据

Doris支持的两类索引：

  1. 内建的智能索引，包括前缀索引和ZoneMap索引
  2. 用户创建的二级索引，包括Bloom Filter索引和Bitmap倒排索引

前缀索引：

在排序的基础上，实现一种根据给定前缀列，快速查询数据的索引方式，Doris会将一行数据的前36个字节作为这行数据的前缀索引，那么在判断索引时，会从该行数据的第一个字段开始向后累加字段所占的字节数，直到36，但是遇到varchar类型前缀索引会直接截断

前缀索引匹配规则：

  1. 在查询时，前缀索引的列上的条件需要是等于（=）、小于（<）、大于（>）、小于等于（<=）、大于等于（>=）、in或between等，并且这些条件是并列的，使用and连接。对于or、!=等条件，前缀索引无法命中。
  2. Doris会取查询中where以及on条件，从前缀索引的第一列开始匹配。它会检查这些条件中是否有与前缀索引的列相匹配，如果有，则累计匹配的长度，直到匹配不上或者达到36个字节（如果是VARCHAR类型的列，则是20个字节）为止。

Rollup调整前缀索引

因为建表时已经指定了列顺序，所以一个表只有一种前缀索引。这对于使用其他不能命中前缀索引的列作为条件进行的查询来说，效率上可能无法满足需求。因此，我们可以通过创建ROLLUP来人为的调整列顺序。

Base表结构如图所示，如果我们在查询过程中常用age，message而非user_id,这时就可以在此基础上创建ROLLUP表，将查询时常用字段放在前面，这样以来不仅可以命中ROLLUP表还可以命中前缀索引，效率提高

Doris 倒排索引—日志分析利器
04-29 7万+
Apache Doris 提供了丰富的索引以加速数据的读取和过滤，依据是否需要用户手工创建，索引类型大体可以分为智能内建索引和用户创建索引两类，其中智能内建索引是指在数据写入时自动生成的索引，无需用户干预，包括前缀索引和 ZoneMap 索引。因此，即使不添加倒排索引仍能展现较好的查询效果。这里需要说明的是，MATCH 与 LIKE 查询的差异在于，MATCH 查询时会忽略大小写，把句子切分成一个个词来匹配，能够更快速定位符合条件的结果，特别是在大规模数据集情况下，MATCH 的效率提升更为明显。
第4章 Doris数据库与表设计-四种Doris索引的详细使用
yangjun_1985的博客
12-13 486
从加速的查询和原理来看，Apache Doris 的索引分为点查索引和跳数索引两大类。
Doris---索引
m0_53400772的博客
05-27 2077
因为如果创建在低基数的列上，比如 “性别” 列，则每个Block几乎都会包含所有取值，导致BloomFilter索引失去意义。虽然还没有超过36个字节，但是已经遇到了一个varchar字段，它自动截断，不会再往后面取了。在doris中是以tablet为粒度创建的，给每一个tablet创建一个布隆过滤器索引。示例2:以下表中我们定义了：age，user_name，message作为表的key。BloomFilter是在无法利用前缀索引的查询场景中，来加快查询速度的。时，可以极大的加快查询速度。
Doris系列7-Doris之前缀索引
只是甲的博客
01-06 1599
文章目录一. 前缀索引概述二. ROLLUP 调整前缀索引参考: 一. 前缀索引概述   不同于传统的数据库设计，Doris 不支持在任意列上创建索引。Doris 这类 MPP 架构的 OLAP 数据库，通常都是通过提高并发，来处理大量数据的。   本质上，Doris 的数据存储在类似 SSTable（Sorted String Table）的数据结构中。该结构是一种有序的数据结构，可以按照指定的列进行排序存储。在这种数据结构上，以排序列作为条件进行查找，会非常的高效。   在 Aggregate、Uniq
doris前缀索引、doris bloom filter索引、doris bitmap索引原理及适应场景
qq_43118086的博客
05-27 2153
索引用于帮助快速过滤或查找数据。 目前 Doris 主要支持两类索引：内建的智能索引，包括前缀索引和ZoneMap索引。用户创建的二级索引，包括Bloom Filter索引和Bitmap倒排索引。 其中ZoneMap索引是在列存格式上，对每一列自动维护的索引信息，包括Min/Max，Null值个数等等。这种索引对用户透明，不在此介绍。以下主要介绍其他三类索引。 前缀索引 原理 本质上，Doris 的数据存储在类似 SSTable（Sorted String Table）的数据结构中。该结构是一种有序的数据结
Doris--基础--5.2--索引
zhou920786312的博客
03-08 1367
因为建表时已经指定了列顺序，所以一个表只有一种前缀索引。这对于使用其他不能命中前缀索引的列作为条件进行的查询来说，效率上可能无法满足需求。因此，我们可以通过创建 ROLLUP 来人为的调整列顺序。
Doris进阶——Rollup和前缀索引
weixin_59812175的博客
06-17 1123
Doris中Rollup和前缀索引
Apache Doris 基础 -- 数据表设计（表索引）
chinusyan的专栏
06-03 3526
Apache Doris 基础 -- 数据表设计（表索引）
doris：N-Gram 索引
qq_36070104的博客
01-06 929
doris：N-Gram 索引
doris索引
weixin_45012397的博客
05-27 2758
其中 ZoneMap 索引是在列存格式上，对每一列自动维护的索引信息，包括 Min/Max，Null 值个数等等。这种索引对用户透明。
Doris-07-索引的详细介绍(前缀索引、Ordinal索引、Zone Map索引、Bitmap索引、Bloom Filter索引、NGram BloomFilter索引、倒排索引)
迷雾总会解
06-23 8216
Apache Doris 存储引擎采用类似LSM树的结构提供快速的数据写入支持。进行数据导入时，数据会先写入 Tablet 对应的 MemTable 中，当 MemTable 写满之后，会将 MemTable 里的数据刷写（Flush）到磁盘，生成一个个不超过 256MB 的不可变的 Segment 文件。MemTable 采用SkipList的数据结构，将数据暂时保存在内存中，SkipList 会按照 Key 对数据行进行排序，因此，刷写到磁盘上的 Segment 文件也是按 Key 排序的。
Doris——索引的创建和命中
weixin_71195617的博客
09-10 2262
doris索引的使用及注意事项
从建表语句带你学习doris_表索引
上好佳的博客
04-15 1920
索引是所有数据库系统提高查询性能的一个重要手段，简单的说其作用相当于我们查询汉语词典的目录，通过部首或者拼音快速帮助我们定位到某个汉字。索引通过一定的组织格式能够快速定位到数据表中的数据。内建的智能索引，包括前缀索引和 ZoneMap 索引。用户手动创建的二级索引，包括倒排索引bloomfilter索引和ngram bloomfilter索引。不同于传统的数据库设计，Doris 不支持在任意列上创建索引。Doris 这类 MPP 架构的 OLAP 数据库，通常都是通过提高并发，来处理大量数据的。
doris 前缀索引使用规则
学亮编程手记
01-10 423
而前缀索引，即在排序的基础上，实现的一种根据给定前缀列，快速查询数据的索引方式。这对于使用其他不能命中前缀索引的列作为条件进行的查询来说，效率上可能无法满足需求，这种情况，我们可以通过创建 物化视图 来人为的调整列顺序。前缀索引是稀疏索引，不能精确定位到 Key 所在的行，只能粗粒度地定位出 Key 可能存在的范围，然后使用二分查找算法精确地定位 Key 的位置。f. 最常用的查询字段如果能放到前缀索引里尽可能放到前前缀索引里，如果不能，可以放到分桶字段里。
深度解析｜Apache Doris 索引机制解析
ucanuup_的博客
09-06 1902
...
Apache doris索引机制介绍
锋哥聊DORIS数仓
07-31 1635
索引用于帮助快速过滤或查找数据。 目前 Doris主要支持两类索引：内建的智能索引，包括前缀索引和ZoneMap索引。用户创建的二级索引，包括Bloom Filter索引和Bitmap倒排索引。 其中ZoneMap索引是在列存格式上，对每一列自动维护的索引信息，包括Min/Max，Null值个数等等。这中索引对用户透明，不在此介绍。以下主要介绍其他三类索引。 前缀索引 原理 本质上，Doris的数据存储在类似 SSTable（Sorted String Table）的数据结构中。该结构是一种有序的
【Doris】Apache Doris 索引机制解析
m0_54252387的博客
07-09 3165
1 引言Apache Doris 存储引擎采用类似 LSM 树的结构提供快速的数据写入支持。进行数据导入时，数据会先写入 Tablet 对应的 MemTable 中，当 MemTable 写满之后，会将 MemTable 里的数据刷写（Flush）到磁盘，生成一个个不超过 256MB 的不可变的 Segment 文件。MemTable 采用 SkipList 的数据结构，将数据暂时保存在内存中，SkipList 会按照 Key 对数据行进行排序，因此，刷写到磁盘上的 Segment 文件也是按 Key 排
doris：前缀索引与排序键
qq_36070104的博客
01-02 685
doris：前缀索引与排序键
Doris物化视图添加索引
最新发布
03-18
<think>好的，用户问的是如何在Apache Doris中为物化视图创建或添加索引。首先，我需要回忆一下Doris的文档和相关资料。记得Doris的物化视图主要是通过预计算来加速查询，而索引方面，Doris使用智能的预聚合和前缀索引来优化查询性能，而不是传统意义上的手动创建索引。 然后，用户可能对物化视图的索引机制不太清楚，需要解释Doris的索引策略。比如，前缀索引是自动根据表的排序键生成的，而物化视图的排序键也是由创建时的SELECT语句决定的。因此，用户可能需要调整物化视图的排序键来优化索引效果。 接下来，考虑用户的需求是否可以通过其他方式实现，比如调整物化视图的构建列顺序，或者利用Rollup来增加不同的预聚合路径。可能还需要提到Doris的自动索引管理，不需要手动维护，这样用户就不必像在传统数据库中那样手动创建索引。 还要检查是否有相关的引用内容。用户提供的引用中提到Doris的查询速度是亚秒级，支持高并发，这可能和物化视图及索引的设计有关。需要确保回答中提到的优化方法与这些引用一致，比如利用排序键和Rollup来提高查询效率。 最后，生成相关问题时要围绕物化视图的优化、索引机制以及与其他技术的比较，帮助用户深入理解。确保回答结构清晰，分步骤说明操作，并提醒注意事项，比如索引自动创建和无法手动添加的情况。</think>### 如何在 Apache Doris 中为物化视图创建或添加索引？ 在 Apache Doris 中，物化视图（Materialized View）的索引机制与普通表有所不同，其优化主要依赖于 Doris 的智能预聚合和前缀索引设计。以下是具体操作和原理说明： --- #### 1. **物化视图的索引机制** Doris 的物化视图通过**前缀索引**和**预聚合**来加速查询，而非传统数据库的手动创建索引。其核心逻辑如下： - **前缀索引**：Doris 会根据物化视图的 `ORDER BY` 列自动生成前缀索引。例如，若物化视图的排序键为 `(dt, user_id)`，查询条件包含 `dt` 或 `(dt, user_id)` 时，可直接利用前缀索引快速定位数据[^1]。 - **预聚合**：物化视图通过聚合操作（如 `SUM`、`COUNT`）提前计算结果，查询时直接读取聚合数据，无需全表扫描。 --- #### 2. **为物化视图优化索引的步骤** 虽然不能直接为物化视图添加索引，但可以通过以下方式优化查询性能： 1. **合理设计排序键** 在创建物化视图时，通过 `ORDER BY` 指定高频查询条件的列顺序。例如： ```sql CREATE MATERIALIZED VIEW mv_orders DISTRIBUTED BY HASH(order_id) ORDER BY (dt, product_id) AS SELECT dt, product_id, SUM(amount) FROM orders GROUP BY dt, product_id; ``` 此设计会为 `(dt, product_id)` 生成前缀索引，加速包含这些列的查询。 2. **利用 Rollup 增强查询路径** Rollup 是 Doris 中一种特殊的物化视图，可通过添加不同维度的 Rollup 为查询提供更多索引路径： ```sql ALTER TABLE orders ADD ROLLUP rollup_product (product_id, dt, SUM(amount)); ``` 当查询条件包含 `product_id` 时，优先命中 Rollup 的排序键。 3. **数据分区与分桶** 结合 `PARTITION BY` 和 `DISTRIBUTED BY` 对数据进行物理划分，减少扫描范围： ```sql CREATE MATERIALIZED VIEW mv_log PARTITION BY dt DISTRIBUTED BY HASH(user_id) ORDER BY (dt, user_id) AS SELECT dt, user_id, COUNT(*) AS pv FROM log GROUP BY dt, user_id; ``` --- #### 3. **注意事项** - Doris **不会为物化视图单独创建二级索引**，所有优化均基于排序键和预聚合。 - 若查询性能未达预期，可通过 `EXPLAIN` 分析查询是否命中物化视图或 Rollup[^2]。 - 调整物化视图的 `ORDER BY` 列后，需重新构建视图（通过 `REFRESH MATERIALIZED VIEW` 或重新创建）。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Gurean

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值