一条sql的执行流程

本文解析了MySQL中更新语句的执行流程,包括引擎查找数据、执行器处理、Redo及Binlog日志的两阶段提交机制等内容,确保了数据的一致性。

上图展示了一条sql,进入到Mysql后需要经过哪些处理器处理,并最终获得数据的流程。

缓存器可以不考虑,在8.0之后的版本中已移除。主要看右边流程。

关于表权限的事情需要注意,表权限是在sql执行器调用引擎,打开表的时候进行校验的,如果当前用户没有表权限,则会报权限异常。

以上主要是查询语句的处理。在更新语句处理,其他流程几乎相同,主要涉及到binlog和redo log的二段提交确保数据一致。

binlog是server层的日志,redo log是innodb引擎层的日志方案。

redo log是4个指定大小的文件,文件写完会重头开始写。如下图。

binlog和redo log的区别如下:

1、binlog是mysql 的 server层日志,所有引擎都可以使用,但是redo log是innodb的日志,只有它可以使用。

2、redo log是复用指定的4个文件,写完后重头开始写,而binlog日志文件写满后就再创建一个文件。

3、redo log是物理日志,记录了一个数据做了什么样的修改,而binlog是逻辑日志,记录sql的原始逻辑。

继续上文,来了解一下一个更新语句的流程: update t set c = c+ 1 where id = 1;(id是主键索引)

1、引擎根据id查找该行数据,id是主键索引,所以直接根据树搜索找到该数据,如果数据所在数据页已经在内存中,则直接获取数据返回;否则去磁盘找到对应的数据页到内存中,再返回数据到执行器。

2、执行器拿到数据,对c值做赋值 c+1操作,得到新的一行数据,调用引擎接口,写入数据到引擎。

3、引擎将数据更新到内存中,然后写入redo log日志,此时redo log日志状态为prepare;然后告知执行器更新完成,随时可以提交。

4、执行器接受到引擎更新成功,生成Binlog日志,并写入磁盘中,告知引擎。

5、引擎将redo log状态改为commit .完成数据更新。

流程图如下:

 

其中将redo log分为prepare和commit2个状态提交,就是所谓的 两阶段提交

为什么要用两阶段提交?

以 update t set c = c + 1 where id = 1;来说明。

1、如果先写redo log,后写binlog。如果redo log写完,binlog没写系统宕机。此时使用redo log做数据恢复,c 已经+1,但是如果用Binlog恢复数据,c并没有 +1,会导致数据不一致。

2、如果先写binlog ,后写redo log。 同理,如果redo log未写,binlog已写,此时恢复数据时,发现redolog没有记录,此事务无效,不做c+1操作,但是binlog中记录了此操作,如果用Binlog恢复数据,也会导致数据不一致。

在做扩容的时候,如果使用全量 + Binlog来做备库数据同步,也会导致数据不一致问题。

补充:

innodb_flush_log_at_trx_commit = 1 ;表示每次redo log都同步到磁盘中。

sync_binlog = 1 ;表示每次binlog同步到磁盘。

双1设置保证redo log 和binlog 数据不会丢,数据一致。

SQL语句的执行流程可以分为以下几个关键阶段,每个阶段在数据库系统中都有明确的任务和作用: ### 查询解析(Parsing) SQL语句首先会经过解析器(Parser)处理。解析器的主要任务是将SQL语句转换成一种内部表示形式,以便后续步骤(如优化和执行)能够处理。这一过程包括语法分析、语义检查以及权限验证[^2]。 - **语法分析**:确保SQL语句符合数据库的语言规范。 - **语义检查**:验证查询涉及的对象是否存在,并且用户具有相应的访问权限。 ### 查询优化(Optimization) 在解析完成后,优化器会介入。优化器的任务是生成一条高效的执行计划,以决定如何最好地检索或操作数据。这一步骤可能涉及索引选择、连接顺序优化等复杂逻辑。 如果该SQL语句之前已经被执行过,并且其执行计划仍然保留在缓存中,则可以直接跳过解析和优化阶段,直接使用现有的执行计划[^3]。 ### 执行计划生成与存储 当优化器确定了最佳执行计划后,这条SQL语句及其对应的执行计划会被存储在一个称为库缓存(library cache)的地方。这样做的好处是,当下次相同的查询再次出现时,就可以省略前面的解析和优化步骤,从而提高效率。 ### 查询执行(Execution) 执行器根据优化器生成的执行计划来调用存储引擎的API进行实际的数据读取或写入操作。存储引擎负责底层的数据管理,包括从磁盘读取数据、更新数据或将新数据插入到表中[^4]。 在此过程中,执行器可能会执行多种操作,例如: - 表连接(Join) - 数据排序(Order By) - 分组聚合(Group By) - 限制结果集大小(Limit) ### 结果返回与缓存(Result Return and Cache) 最后,查询的结果被返回给客户端。在MySQL 8.0之前的版本中,这些结果还可以被缓存,以便于未来相同查询更快地响应[^4]。 --- ### 示例代码:SQL语句执行流程模拟 以下是一个简单的Python示例,用于展示如何通过伪代码模拟SQL语句的执行流程: ```python class SQLExecutor: def parse_query(self, sql): print(f"Parsing query: {sql}") # 返回解析后的抽象语法树(AST) return {"type": "SELECT", "table": "users", "where": {"id": 1}} def optimize_plan(self, parsed_sql): print("Optimizing execution plan...") # 返回优化后的执行计划 return {"action": "SELECT", "from": parsed_sql["table"], "condition": parsed_sql["where"]} def execute_plan(self, execution_plan): print(f"Executing plan: {execution_plan}") # 模拟执行并返回结果 return [{"id": 1, "name": "Alice"}] def return_result(self, result): print("Returning result to client:") for row in result: print(row) # 创建执行器实例 executor = SQLExecutor() # 模拟SQL执行流程 sql = "SELECT * FROM users WHERE id = 1" parsed_sql = executor.parse_query(sql) execution_plan = executor.optimize_plan(parsed_sql) result = executor.execute_plan(execution_plan) executor.return_result(result) ``` --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值