别让你的CPU打盹儿：Apache Doris并行执行原理大揭秘！

是否遇到过忙碌餐厅里的场景？一群服务小哥哥和小姐姐来回奔波，却总有顾客等得不耐烦。其实数据库查询也是这样，如果不好好安排"工作流程"，查询请求也会跟餐厅里的客人一样干着急。
Apache Doris的并行执行好比是餐厅里的总管家，它把大任务（Plan）分成几个区域（Fragment），每个区域都有专门的服务小组（Pipeline），每个小组又分配了具体的服务同学（Task），服务的同学再进行具体的服务行为（Operator）。
通过这种科学的分工方式，数据处理从"排队等待"变成了"多窗口并行"。这就是Doris中的Pipeline执行模型，一个让数据处理不再"望队兴叹"的方案！

背景介绍

Doris的并行执行模型是一种Pipeline 执行模型，主要参考了Hyper论文中Pipeline的实现方式：

https://db.in.tum.de/~leis/papers/morsels.pdf

Pipeline 执行模型能够充分释放多核 CPU 的计算能力，并对 Doris 的查询线程的数目进行限制，解决 Doris 的执行线程膨胀的问题。

它的具体设计、实现和效果可以参阅 [DSIP-027](DSIP-027: Support Pipeline Exec Engine - DORIS - Apache Software Foundation) 以及 [DSIP-035](DSIP-035: PipelineX Execution Engine - DORIS - Apache Software Foundation)。

Doris 3.0 之后，Pipeline 执行模型彻底替换了原有的火山模型，基于Pipeline 执行模型，Doris 实现了 Query、DDL、DML 语句的并行处理。

物理计划

为了更好的理解Pipeline 执行模型，首先需要介绍一下物理查询计划中两个重要的概念：PlanFragment和PlanNode。

我们使用下面这条SQL 作为例子：

SELECT k1, SUM(v1) FROM A,B