深入理解Doris 的高性能和高可用原理

高性能原理

Doris 的高性能特性主要源于其设计原理和实现方式，这些设计使其非常适合处理大规模数据仓库和实时分析任务。以下是 Doris 高性能的几个关键因素：

1. 列式存储：
   • Doris 使用列式存储格式，这意味着相同列的数据存储在一起，与行式存储（每行数据一起存储）相比，列式存储可以极大提高查询性能，尤其是在只需要访问表中少数几列的查询中。列式存储也优化了数据压缩率，减少了存储空间和IO读取量。
2. MPP架构：
   • Doris 基于大规模并行处理（MPP）架构设计，能够在多个节点上并行处理查询，显著提高了查询和分析的处理速度。每个节点都可以独立处理查询的一部分，然后将结果集中汇总，从而加速数据处理和分析。
3. 数据分区和分片：
   • 数据在物理上按分区键分布在不同的后端（BE）节点上，这样的分布式存储策略使得查询操作可以高效地并行执行，因为数据的不同部分可以同时在不同节点上处理。
4. 向量化查询执行：
   • Doris 实现了向量化查询处理，这种方法可以处理数据的批次而不是单独的数据项，减少了CPU的分支预测失误和指令调度开销，提高了CPU处理数据的效率。
5. 谓词下推（Predicate Pushdown）：
   • 在查询过程中，Doris 能够将过滤操作尽早地下推到数据读取阶段&