2023-06-13 mysql-查询优化器和查询执行器-火山模型-思考

最新推荐文章于 2024-11-30 21:37:48 发布
最新推荐文章于 2024-11-30 21:37:48 发布
阅读量864 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： mysql 文章标签： mysql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/adofsauron/article/details/131196232
本文探讨了MySQL查询优化器和执行器沿用火山模型的原因与反思。尽管火山模型经典，但其他列数据库转向物化模型以优化CPU预处理。MonetDB对该模型的突破性改变和DuckDB的standalone-plan提供了新的理解视角。火山模型的一次next获取一行数据特性被批评为破坏了CPU缓存，而物化模型通过向量化提升性能。MySQL的查询执行涉及do_select、sub_select、end_select及JOIN::exec等核心函数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

摘要:

mysql的查询优化器和查询执行器采用了经典的火山模型, 从mysql5.0开始一直到mysql8.0都保持了火山模型.

这么做有其自身的考虑, 火山模型是一个非常经典的模型, 但是其他一些列数据库的优化方向倒是从摒弃火山模型转而使用物化模型而进行.

本文做一些反思.

反思:

 

  1. 对火山模型最具有突破性改变的是monetdb https://www.cidrdb.org/cidr2005/papers/P19.pdf
  2. 如果对于火山模型的理解上, 最为简单的倒是duckdb的 standalone-plan 的例子, 对于语法树, 逻辑节点，物理节点, 操作符或者说算子operator, 都有十分经典的描述
  3. 火山模型这个名字到底是怎么起的暂且先不提, 其特点倒是十分的鲜明:
    1. 将操作符抽象成一棵树
    2. 从跟节点不断的调用子节点做执行Next
    3. 在数据流上来说, 倒是一次next获取一行数据
      1. 这点最被物化模型诟病
      2. 一次获取一行数据, 破坏了CPU的cache, 预处理的pipeline
      3. 物化模型提出的解决方案倒是十分的直接, 专门针对CPU的预执行机制, 一次不再处理一个，而是处理一块连续的空间,
了解本专栏 订阅专栏 解锁全文 超级会员免费看
2023-06-13 mysql-查询优化器-SELECT_LEX, SELECT_UNION, JOIN, JOIN_TAB与表之间的关系-分析
悟世之路
06-13 732
在mysql/sql层的查询优化和查询执行的处理中, JOIN这个数据结构或者说类处于核心地位.本文分析SELECT_LEX, SELECT_UNION, JOIN, JOIN_TAB与表之间的关系.
2023-05-08 数据库-流水操作与物化-分析
悟世之路
05-08 581
数据库的查询模型比较经典的是火山模型, 其实就是流水线操作, 例如mysql.作为对应的便是物化模型, 例如monetdb.列存数据库自从monetdb的开创性paper开始, 几乎都是采用了物化模型. 并且一定程度上结合了流水线操作, 例如duckdb.本文做些简要的分析.
php mysql 执行器
07-10
使用PHPMyAdmin、Navicat for MySql这些东西，如果连接空间等远程服务器的话，可能会很慢。简单需求者，可以使用这个执行器，很简便。
科普文：软件架构数据库系列之【MySQL8新特性--执行器之火山模型（Iterator Model）】
为无为，事无事，味无味。
09-26 1750
三种常见的数据库查询引擎执行模型：Iterator Model、Materialization Mod。火山模型是数据库查询执行最著名的模型，也是在各种数据库系统中应用最广泛的模型。SQL语句在数据库中经过语法解析生产 AST 语法树，然后遍历语法树，生成执行树。执行树的每个节点为代数运算符(Operator)。火山模型把Operator看成迭代器，每个迭代器都会提供一个next() 接口。一般Operator的next() 接口实现分为三步 （1）调用子节点Operator的next() 接口获取一行数据
火山模型和优化(向量化执行、编译执行)
迷雾总会解
06-23 2665
早期数据库受限于硬件水平，IO、内存和CPU资源都非常昂贵，所以大多数数据库的执行器都采用的是传统的火山模型（经典的Volcano 模型）。火山模型又称 Volcano Model 或者 Pipeline Model。该计算模型将关系代数中每一种操作抽象为一个 Operator，将整个 SQL 构建成一个 Operator 树，从根节点到叶子结点自上而下地递归调用 next() 函数。调用子节点Operator的next() 接口获取一行数据(tuple)；
mysql执行器优化器
计算机毕业论文源码，学生个人网页制作html源码。贴近用户做网络推广和互联网优化。
11-17 232
mysql 存储过程执行太慢怎么优化 1.当我们请求mysql服务器的时候,MySQL前端会有一个监听,请求到了之后,服务器得到相关的SQL语句,执行之前(虚线部分为执行),还会做权限的判断 2.通过权限之后,SQL就到MySQL内部,他会在查询缓存中,看该SQL有没有执行过,如果有查询过,则把缓存结果返回,说明在My...
科普文：软件架构数据库系列之【经典的火山模型执行引擎Vastbase】
为无为，事无事，味无味。
09-28 994
Vastbase使用了经典的Tuple-At-A-Time模型，也即火山模型（Volcano-Model） 数据库的执行以算子迭代的方式进行驱动执行，每个算子抽象成为 open()/next()/close()三种类型操作，上层算子通过嵌套调用下层的next()进行处理 数据的返回，同样初始化的过程和结束过程也通过open()/close()嵌套调用，火山模型也是大多数传统数据库实现的执行模型，对比我们的数据库就是ExecutorStart、ExecutorRun、ExecutorEnd。
2023-07-09 数据库创业-技术侧-分析
悟世之路
07-09 373
创业失败的直接因素便是资金链断裂无法支撑, 但是这个只是最终的结果，而导致资金链断裂导致无法进行下去, 这个过程中的诸多因素就需要慎重的分析, 就像有句谚语说的，成非成于成之日，败非败于败之时.由于涉及的因素有多重侧面, 所以分多个文章逐个分析, 本文探讨技术层面.
大数据新视界 -- 大数据大厂之 Hive 数据压缩：优化存储与传输的关键（上）（19/ 30）
最新发布
【青云交】华为云云享专家，在技术圈个人影响力位居前17，跻身博客之星 TOP23。同时荣登【原力榜、作者周榜、领军人物和综合热榜】四榜榜首，破优快云排行榜记录！苏州地区各榜也统统拿下榜首之位，实力爆棚！非常感谢全网十多万粉丝的喜欢和关注！
11-30 3579
本文承前启后，聚焦 Hive 数据压缩，深挖压缩算法（原理、Hive 支持算法及选策），详呈表与分区压缩实战、细究查询性能平衡，佐以多行业案例，具实操价值，设互动引下篇，助优化存储传输。
MySQL优化器
圆蟀的专栏
01-23 550
MySQL优化器
MySQL优化器与执行器
m_target的博客
02-13 1931
优化器 经过了分析器，MySQL 就知道你要做什么了。在开始执行之前，还要先经过优化器的处理。 优化器是在表里面有多个索引的时候，决定使用哪个索引；或者在一个语句有多表关联（join）的时候，决定各个表的连接 顺序。比如你执行下面这样的语句，这个语句 是执行两个表的 join： mysql> select * from test1 join test2 using(ID) where test
MYSQL性能调优04_连接器、查询缓存、分析器、优化器、执行器、一图详解MYSQL底层工作原理
所得皆惊喜
08-10 2766
连接器、查询缓存、分析器、优化器、执行器、一图详解MYSQL底层工作原理
MySQL调优学习笔记(四)：MySQL优化器(CBO)
sinat_41928169的博客
05-21 2101
mysql是如何选择索引的 优化器决定了具体某一索引的选择，也就是常说的执行计划。优化器的选择是基于成本，哪个索引的成本越低，优先使用哪个索引。 如上图所示，MySQL 数据库由 Server 层和 Engine 层组成： Server 层有 SQL 分析器、SQL优化器、SQL 执行器，用于负责 SQL 语句的具体执行过程； Engine 层负责存储具体的数据，如最常使用的 InnoDB 存储引擎，还有用于在内存中存储临时结果集的 TempTable 引擎。 SQL 优化器会分析所有可能的执行计划，
【推荐】Mysql优化神器（值得一用）
qq_39397165的博客
12-04 2136
前言❝今天逛github时，发现了这款对 SQL 进行优化和改写的自动化工具sora。感觉挺不错的，就下载学习了一下。这个工具支持的功能比较多，可以作为我们日常开发中的一款辅助工具，现在...
MYSQL04高级_逻辑架构剖析、查询缓存、解析器、优化器、执行器、存储引擎
所得皆惊喜
02-29 818
MYSQL04高级_逻辑架构剖析、查询缓存、解析器、优化器、执行器、存储引擎
mysql数据库执行过程 软解析_用数据库的方式思考SQL是如何执行的
weixin_39672680的博客
01-19 194
我们在日常的工作中会经常接触到数据库，那么这些数据库的SQL语句都是怎么执行的呢？这次我着重从以下几个方面进行介绍：Oracle中的SQL是如何执行的，什么是硬解析和软解析MySQL中的SQL是如何执行的，MySQL的体系结构是怎样的什么是存储引擎，MySQL的存储引擎有哪些Oracle中的SQL是如何执行的先来看下SQL在Oracle中的执行过程：从上面这张图中可以看出，SQL 语句在 Orac...
MySQL 执行器
weixin_40426261的博客
05-18 619
flink技术学习待续
MySQL-查询SQL语句的执行过程：连接器-＞查询缓存(8就没了)-＞分析器-＞优化器-＞执行器-＞返回结果
小孔靠得住的博客
03-07 1209
查询SQL语句的执行过程：连接器->查询缓存->分析器->优化器->执行器->返回结果
Mysql优化器原理
taoerchun的专栏
11-17 2364
大家好，我是peachesTao，今天给大家分享一篇关于mysql优化器的文章，在正式进入今天的主题之前先抛出几个问题： mysql 对我们写的sql语句做了哪些优化？优化后的语句我们如何得知？ 为什么我的字段明明加了索引最后还是全表扫界？ 一个字段存在于多个索引中，为什么最后选择了索引A，而不是B？ 如果你也有上面的疑问，那么你算是来对了，通过这篇文章，我将会为大家解开谜底。 我们先准备一下本篇文章要用到的表结构（注意：本文中所有的数据均基于mac mysql 8.0.12
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

悟世者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值