2023-05-08 数据库-流水操作与物化-分析

已于 2023-05-08 15:54:35 修改
阅读量577 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 数据库 文章标签： 数据库 mysql monetdb 火山模型 物化模型
于 2023-05-08 11:22:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/adofsauron/article/details/130554695
本文探讨了数据库查询的火山模型和物化模型。火山模型是一种流水线操作，常见于MySQL，以迭代器方式传递数据，但高磁盘IO和对CPU缓存不友好。相比之下，物化模型如MonetDB，利用现代CPU特性，通过全量操作减少磁盘IO，内存中的物化有助于控制数据交换。列存数据库如DuckDB结合了两者优点。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

摘要:

数据库的查询模型比较经典的是火山模型, 其实就是流水线操作, 例如mysql.

作为对应的便是物化模型, 例如monetdb.

列存数据库自从monetdb的开创性paper开始, 几乎都是采用了物化模型. 并且一定程度上结合了流水线操作, 例如duckdb.

本文做些简要的分析.

流水线操作/火山模型:

  1. 更为常见的名字是所谓的火山模型
  2. 比较典型的特征就是在每一个操作符或者说算子中以迭代器的方式传递数据
  3. 在函数实现上便是以next为操作核心, 可以参考mysql的sub_select函数的实现
  4. 由于操作符是逐个元组的传递并计算, 内存的使用从而可以保持在单个元组以及投影的结果集相关
  5. 由于并非是以磁盘块来进行读取, 而是以元组为基础, 导致更高次数的磁盘IO
  6. 流水线操作对cpu的cache和pipeline不友好, 每个操作符的迭代器存在分支判断和分支预测, 导致cache和pipeline分支预测失效, 这也是被montedb极为抨击的点, 并以此导致monetdb采取了全量物化模型
  7. 往好处看, 由于操作符的处理都被流水线化, 所以便于进行不同操作符的并行执行, 这点上可以参考duckdb
  8. 在经典的流水线操作中, 一些操作符的物理策略也会采取物化模型, 典型的就是mysql的hash join策略

物化模型:

  1. 比较经典的是monetdb的paper中的思想  https://www.cidrdb.org/cidr2005/papers/P19.pdf
  2. 理论基础是现代CPU的多核特性, cpu cache, cpu pipeline预处理
  3. 可以说现在的列存储引擎都依据此思想来做
  4. 典型的特点便是对每个操作符都执行全量操作, 对于列存更有意思, 生成一个全新的列, 这点上可以参考monetdb的BAT, 以及clickhouse对于列的传递
  5. 由于执行全量操作占用的内存与该操作符以及表的数据量相关, 所以为了减少对内存的占用, 避免磁盘IO的颠簸, 将物化与流水线操作集合, 以控制内存和磁盘的数据交换频率
  6. 物化这个名字容易让人误解为是将中间结果持久化到磁盘, 但是更多的是在内存中进行物化

最低0.47元/天 解锁文章
数据库--处理模型（Processing Model）
LifeIsGood
05-13 76
数据库--处理模型（Processing Model）
数据库--处理模型（Processing Model）（二）
LifeIsGood
05-15 177
数据库--处理模型（Processing Model）（二）
【数据库内核】物理执行器引擎Pull模型之火山模型
Night_ZW的博客
09-07 7141
目录 概述 算子介绍 火山模型 火山模型痛点 一、虚函数的开销 二、Cpu Cache的利用率 结论 参考资料 概述 当我们的逻辑计划引擎把SQL生成了逻辑计划后，后端的物理计算引擎接收到逻辑计划生成物理执行计划，便可以开始去真正执行计算作业了。在关系数据库发展的早期，受制于计算机IO能力的约束，数据库通常的物理执行引擎采用的是火山模型的设计方式。因为火山模型每次只处理一行数据，大大的节约了内存的使用量。 数据库物理计算引擎通常分为二类，一类是以火山模型(Volcano Mode.
数据库查询引擎执行模型
Shyllin的博客
03-14 1266
数据库查询引擎执行模型
科普文：软件架构数据库系列之【MySQL8新特性--执行器之火山模型（Iterator Model）】
为无为，事无事，味无味。
09-26 1714
三种常见的数据库查询引擎执行模型：Iterator Model、Materialization Mod。火山模型是数据库查询执行最著名的模型，也是在各种数据库系统中应用最广泛的模型。SQL语句在数据库中经过语法解析生产 AST 语法树，然后遍历语法树，生成执行树。执行树的每个节点为代数运算符(Operator)。火山模型把Operator看成迭代器，每个迭代器都会提供一个next() 接口。一般Operator的next() 接口实现分为三步 （1）调用子节点Operator的next() 接口获取一行数据
分布式数据库之火山模型
数据库技术
05-26 2343
概念 火山模型又叫迭代器模型。 IO墙效应 在90年代早期，计算机的内存资源十分昂贵，相对于CPU的执行效率，IO效率要差得多，因此运算符和存储之间的IO交换是影响查询效率的主要因素（IO墙效应）。 火山模型将更多的内存资源用于IO的缓存设计而 没有优化CPU 的执行效率是在当时的硬件基础上很自然的权衡。 火山模型 设计思路 将关系代数当中的每一个算子抽象成一个迭代器。 每个迭代器都带有一个 next 方法。 每次调用这个方法将会返回这个算子的产生的一行数据（或者说一个 Tuple）。 程序通过在
火山模型和优化(向量化执行、编译执行)
迷雾总会解
06-23 2634
早期数据库受限于硬件水平，IO、内存和CPU资源都非常昂贵，所以大多数数据库的执行器都采用的是传统的火山模型（经典的Volcano 模型）。火山模型又称 Volcano Model 或者 Pipeline Model。该计算模型将关系代数中每一种操作抽象为一个 Operator，将整个 SQL 构建成一个 Operator 树，从根节点到叶子结点自上而下地递归调用 next() 函数。调用子节点Operator的next() 接口获取一行数据(tuple)；
数据库系统实现-07.ppt
05-18
在此阶段，系统需要选择具体的操作方法，例如选择合适的索引、连接方法等，并决定是否使用流水线操作或物化视图等技术。物理操作的顺序以及执行策略的选择也非常重要，因为它们会直接影响到查询的执行效率。因此，...
数据库系统及其应用（二）-- 查询处理（主）
最新发布
2302_80873119的博客
06-19 1019
数据库系统及其应用--查询处理
openGauss数据库源码解析系列文章—— 执行器解析（一）
Gauss松鼠会
08-16 7146
本篇我们开启第七章执行器解析中“7.1 执行器整体架构及代码概览”、“7.2 执行流程”及“7.3 执行算子”的相关精彩内容介绍。 执行器在数据库整个体系结构中起到承上启下的作用，对上承接优化器产生的最优执行计划，并按照执行计划进行流水线式的执行，对底层的存储引擎中的数据进行操作。openGauss数据库将执行的过程抽象成了不同类型的算子，同时结合编译执行、向量化执行、并行执行等方式，组成了全面、高效的执行引擎。本章着重介绍执行器的整体架构、执行模型、各类算子、表达式，以及编译执行和向量化引擎等全新的执
理解火山模型：数据库查询中的流式处理与索引优化
weixin_45746058的博客
03-17 745
B+ 树是数据存储结构，火山模型是查询执行框架。火山模型负责查询流程的控制，而 B+ 树作为索引结构提供高效的数据访问。火山模型通过索引扫描算子调用 B+ 树索引，执行精确查找或范围查找。火山模型的 Next() 方法逐步获取数据，而不是一次性读取所有数据，提高了查询效率。B+ 树索引加速了范围查询、点查询、索引连接等操作，减少了数据库的 I/O 开销。可以说，火山模型是查询的“执行者”，B+ 树是查询的“加速器”，两者配合使得数据库查询既灵活又高效！
【手写数据库内核组件】0601数据库执行引擎常用的火山模型，与其它模型比较，实现原理以及解释器和迭代器的实现
一个追逐梦想的码农
07-25 3585
数据库的执行引擎的常见模型： * 火山模型/迭代模型，采用自顶向下拉取数据的模式，执行计划生成树状结构的操作节点树，从根开始执行，每个操作都会有一个next方法，来获取下一条数据，操作之间也只传递一条数据。 * 编译模型/物化模型，采用向上推送的模式，从最低层操作执行，每个操作将数据输出，作为下一个父操作的输入；这种模型以数据为中心，可以有效利用cache，各操作之间数据获取可以提升cache的命中率。 * 向量模型/批处理模型，也是迭代模式执行，不同之处在于，每个操作会处理一批数据，生成的输出也是一组数
Calcite 优化层详解
猫猫爱吃小鱼粮
10-30 1106
Calcite 优化层详解
从 Volcano 火山模型到 Pipeline 执行模型，Apache Doris 执行模型的迭代
SelectDB
05-17 1250
在完成 Pipeline 执行模型的改造后，Apache Doris 在高负载情况下集群假死以及资源抢占的问题得以彻底解决、CPU 利用率得到大幅提升，而 PipelineX 执行引擎的迭代又进一步优化了执行引擎的并发执行模式与调度模式，使得 Apache Doris 执行引擎取得了显著的收益和进步，能够在真实生产环境中帮助用户进一步提升执行效率。目前，我们正在将广泛应用于大数据场景的数据落盘技术与 PipelineX 引擎相结合，旨在进一步提升查询的性能及可靠性。
科普文：软件架构数据库系列之【经典的火山模型执行引擎Vastbase】
为无为，事无事，味无味。
09-28 975
Vastbase使用了经典的Tuple-At-A-Time模型，也即火山模型（Volcano-Model） 数据库的执行以算子迭代的方式进行驱动执行，每个算子抽象成为 open()/next()/close()三种类型操作，上层算子通过嵌套调用下层的next()进行处理 数据的返回，同样初始化的过程和结束过程也通过open()/close()嵌套调用，火山模型也是大多数传统数据库实现的执行模型，对比我们的数据库就是ExecutorStart、ExecutorRun、ExecutorEnd。
SQL优化之火山模型、向量化、编译执行
喜欢打篮球的普通人
12-09 5905
文章目录1.当代CPU特性2.查询执行模型3.向量化VS编译执行4.编译执行融合向量化 优化方向 其次，火山模型中一次只取一条数据，如果每次取多条数据呢？ （1）可以将每次 next 带来的 CPU 开销被一组数据给分摊。这样当 CPU 访问元组中的某个列时会将该元组加载到 CPU Cache（如果该元组大小小于 CPU Cache 缓存行的大小）, 访问后继的列将直接从 CPU Cache 中获取，从而具有较高的 CPU Cache 命中率 （2）当然是同一列的时候，所以针对的是列存的场景，因为输入是
深入浅出说流水线
数据库天地
04-23 756
注意：1 是准并行，不是真正的并行。2 流水线提高的是部件的利用率和指令的平均执行速度，单个指令执行的速度没有提高。 流水线指令的特点：用流水线执行的指令都是相同的操作指令，而且它们可以分成如上图一样若干相同的步骤。 由上图可以清楚的看出，在未使用流水线的情况下，三条指令之间的那些蓝色空白设备都处于空闲状态，这些时间就都浪费掉了。 而采...
数据库查询实现
sakumashirayuki的博客
08-10 710
假设用户输入的sql语句为 select A1,...,An from R1,...,Rm where Cond; 关系代数写作ΠA1,⋯ ,An(σcond(R1×⋯×Rm))\Pi_{A_{1},\cdots,A_{n}}(\sigma_{cond}(R_{1}\times\cdots\times R_{m}))ΠA1​,⋯,An​​(σcond​(R1​×⋯×Rm​))，但是直接运算R1×⋯×RmR_{1}\times\cdots\times R_{m}R1​×⋯×Rm​会产生大量的数据 ...
如果有人问你数据库的原理，叫他看这篇文章（下）
daiyudong2020的博客
05-05 1941
英文：Christophe Kalenzaga 译者：伯乐在线 - Panblack 链接：http://blog.jobbole.com/100349/ 简化的例子 我们已经研究了 3 种类型的联接操作。 现在，比如说我们要联接 5 个表，来获得一个人的全部信息。一个人可以有： 多个手机号（MOBILES） 多个邮箱（MAILS）
数据库物理设计策略与优化
“数据库设计准则及方法论.pdf” 数据库设计是构建高效、稳定且可扩展的信息系统的关键步骤。本文主要探讨了两个关键的数据库设计方法论，以及如何通过合理设计数据库对象来优化性能。 首先，数据库物理设计的方法...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

悟世者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值