一个追逐梦想的码农

源码编辑器可以使用流行的VScode，支持跨平台，当然也可以使用Eclipse，或者自己熟悉的其它工具，不同编辑器之间的默认字符集可能不同，最好设置为UTF-8，Linux下的换行模式，统一的格式避免一些奇妙的问题。上一节通过一个简单的C语言程序来模拟数据库的行为，从处理能力来看，也有创建表，插入、删除、更新、查询等操作，但是与大家认为的数据库差距很大。按功能的不同，将SQL划分为DQL，DDL，DML，DCL等类型，经常使用的查询，插入更新等就属于DQL和DML范围。2.3 SQL标准的发展。

解析器就是将用户输入的命令字符串转换为程序内部的数据结构，然后就可以执行命令并返回结果。通过一个简单的C程序来看一下数据库的解析和执行流程。

🔍 想实现自己的SQL解析器却卡在语法规则设计？本文深度拆解Bison语法解析全流程，从优先级定义、递归规则到抽象语法树构建，代码级解析！

而恰恰相反，增量开发模式只需要将当前能够分析清楚的部分先完成，达到当前的目标即可，而后可以再进一步的做其它事情，如果需要再添加或修改，那么再继续，到那候又可以看到很多不一样的东西。分词模式按照关键字，用户标识，空白符号，标号四种类型来定义，其中关键字是SQL标准中定义的内容，数量有限，在这里直接原样匹配，类型名称按照用户标识进行分词即可，其实只需要定义用户标识、空白符号和标号三种。这其实就是上一个demo的框架，内容全部删除了，保留了头文件的引用，因为后面要用到标准输出，其它都是必须要保留的内容。

这种类型存储逻辑判断的结果，解析为整型，实际存储也为整型，但在查询显示时，根据表定义的类型，当整型值为0时转为字符f，当整型值为1时转换字符t。当然在SQL的定义语句中还用到了括号，表达一种属于的语义，比如表的定义当中，属于表的所有字段的定义，用括号包围起来，括号内属于内部层级，括号外是表的整体信息层级，像是两级树形结构一样。在SQL语句当中，除了命令，数据之外，还有一些用于起分隔作用的符号，作用类似于自然语言中的标点符号，对SQL中的各部分进行有效的切分，使得表达准备的语义，避免歧义的产生，使表达清晰。

解析器准备解析器准备额，SQL发展到今天已经是非常庞大的体系，要想将它完全实现已经不可能，即使是商业数据库中也是大部分的实现。对于如此复杂的语言，从头开始字符的解析程序开发，已经没有意义，也与数据库内核的内容不符，所以在SQL解析模块中引入两个成熟的工具flex和bison，它们是业界著名的语言解析工具，在编译器，数据库等各领域的前端语言分析中应用广泛。1 词法分析工具flexFlex起源于1975年由Mike Lesk和Eric Schmidt编写的lex工具。

在学习C语言编程时肯定做过这样一道编程题，统计一段英文文章中的字符数量，单词数量，行的数量。flex是一个高效的词法分析工具，同时它定义规则非常的简单，同时flex工具可以将这些规则转换为C语言代码，这样与项目程序可以很好的融合在一起。这样一个编程题，背后逻辑其实是对自然语言的处理，首先识别出来语言中的最小单元–单词，之后就是按单词的意思，还有一句话中单词的顺序来解析它的含义。如果用flex工具来实现，只需要定义分词的规则即可，不再考虑实现逻辑，专注于要做的分词规则。直接就可以输入一段英文短文

​前言手写一款数据库toadb，代码从零开始，不是简单的重复造轮子，而是作为一个项目，不仅有代码编程需要学习，还有系统编程经验积累，更有软件设计思想的融入。当你还在为没有真实项目练手而烦恼时，toadb逐渐成形的过程就是一个项目的完整过程，不仅说明自己的计算机知识，也能说明自己的实战经验。

​前言手写数据库内核，从零开始使用C语言编写一个属于自己的数据库。你还在为学习编程没有实践项目而彷徨吗？你还在为自己的简历没有亮点项目而被拒吗？你还在为学习编程能做什么而迷茫吗？这里都有，麻雀虽小却五脏俱全，从SQL输入，SQL词法分析，语法分析，逻辑执行计划，物理执行计划，到数据库执行器，数据字典，再到表的物理存储，存储管理，一站式打通数据库基础框架。同时这里还会采用最新的行列混合式存储模型，能有效应对大数据AI场景应用。

​前言我们的目标是手写一款数据库内核，希望提升我们对数据库机制的认识，同时也能提升我们编码能力，对编程语言的灵活应用，了解实际应用中的技巧，正所谓从书中来，到实践中去。数据库内核听起来很高升啊，大家千万不要被这个吓到，以为自己不适合，其实我们只是做一个基本架构，并不是面面俱到，只要是学会了C语言就可以跟本教程一起开始，不管是在校学生，还是已经工作，正在找寻自己的方向，这个项目将给你的简历增添一项重要的经历。

​前言本专栏是介绍从零开始手写一款数据库内核，通过构建一个简单的数据库内核模型，避免开源数据库庞大的代码量和繁多的功能，toadb化繁为简，麻雀虽小五脏俱全，展示数据库核心模块的原理，流程，同时可以加深对数据库原理的理解，提升编程和架构设计能力。

​前言手写一款数据库toadb，代码从零开始，不是简单的重复造轮子，而是作为一个项目，不仅有代码编程需要学习，还有系统编程经验积累，更有软件设计思想的融入。当你还在为没有真实项目练手而烦恼时，toadb逐渐成形的过程就是一个项目的完整过程，不仅说明自己的计算机知识，也能说明自己的实战经验。

手写数据库内核，麻雀虽小，但是五脏俱全，本教程从零手把手带大家开始，欢迎需要找项目练手的同学们加入一起打造自己的专属数据库内核。不管你是刚学会C语言编程，还是已经做过很多项目，手写一款数据库内核都会对你有所帮助，提升编程语言的实际应用能力，软件架构设计能力，最重要的是让自己的简历增加非常重要的一个项目经历，有资本在找工作时侃侃而谈，掌握主动权。

我们虽然造轮子，但是也会造完全一样的轮子。所以toadb在选择存储模型时，行存模型已经成熟，列存模型也有了一些成熟的实践，当前AI 大模型时代已经到来，它对数据的要求不再是单一的事务或分析型处理，所以混合型的存储模型更能适合当前的发展需求。基于这样的初衷下，我们也开始搭建基于行列混合模型的数据库存储架构。对于存储架构已经做了介绍，这里主要介绍如何实现行列存储模型。对于传统行式存储模型，每个数据表对应一个物理文件，为了支持行列混合，toadb采用按行进行分组，分组内按每一列进行存储；

手写数据库内核，带大家从零开始写出属于自己的数据库，看似很庞大的数据库系统，经过对核心模块的提取精简，不论是刚学会编程还是有理论基础的你，都会不会感到困难，造自己的轮子，提升项目综合能力，让自己的简历更加丰富。

我们的目标是手写一款数据库内核，希望提升我们对数据库机制的认识，同时也能提升我们编码能力，对编程语言的灵活应用，了解实际应用中的技巧，正所谓从书中来，到实践中去。数据库内核听起来很高升啊，大家千万不要被这个吓到，以为自己不适合，其实我们只是做一个基本架构，并不是面面俱到，只要是学会了C语言就可以跟本教程一起开始，不管是在校学生，还是已经工作，正在找寻自己的方向，这个项目将给你的简历增添一项重要的经历。我们在模仿造轮子的过程中，才能体会到从0搭建一个软件，手写数据库内核，行列混合存储模型，物理存储模型介绍

软件的迭代开发过程中，它的功能，稳定性，性能，易用性能各方面都在发生着变化，随着软件的庞大，已经不能通过人工手段进行觉察，所以需要配套测试工具，由自动化来验证原有功能的完整性，和增加功能带来的变化效果。在toadb起始，我们准备了两套自动化测试工具集，一套是功能测试，一套是性能兼稳定性测试，它们都是通过shell脚本来编写，调用客户端工具tsql来执行SQL。

如何才能做到经验丰富，那就是不断系统的接收各种类型，各行业的软件模型知识，不断积累，才能成为优秀的软件行业的从业者，有自己可以掌控的发展路径。当然我们也可以不断造轮子，在成熟软件的经验上来复制它，让我们综合能力得到提升。当我们面试时，不再说自己会select/insert/update/delete操作，这些是AI做的事，而我们可以谈不同的数据库存储模型，它有那些适合的适用场景，它们各自己的工作流程。不论还是学生，还是在工作，掌握了一门C语言编程，就可以开始打造属于自己的数据库，做不一样的自己！

带你手写数据库内核项目，即然是一个项目，需要的综合能力，不仅是需要代码，还需要掌握一个工具使用技能。如果一个项目会产生很多文件，如沟通中的记要，设计文档，源代码文件等，在项目开始之前就需要选择一个带有版本控制的文件管理软件，一般的都FTP就不能胜任此项工作了。当有一个文件被多次修改时，还能记起每次修改的内容差异，比如常用SVN，每次修改后都会有提交记录，创建一个版本，可以查阅每次提交的差异，如果需要回退到以前，也很方便。

手写数据库toadb 保姆级教程来了。

工欲善其事，必先利其器。手写toadb数据库内核项目，提供保姆级的教程，能够让初学者顺利着手开始，开发出一款自己的数据库内核，在自己的简历上多一份重量级的项目履历。既然是保姆级与入门级教程，一定要从项目开始说起，而不是代码开始，本阶段的内容主要包括开发环境，git使用，开发工具以及调试等准备内容，熟悉的朋友可以直接跳过。在开始toadb数据库内核开发之前，我们需要先准备一下开发环境，这是每个开发项目开始之前的必经之路。toadb项目的开发环境是什么呢？

手写数据库开始了，从零开始，step by step ，让小白都可以轻松开发数据库内核，简历上再增亮点，面试多了一份自信。toad database system，“癞蛤蟆”数据库，正如其名，我们想吃天鹅肉，它是一款从零完全开始手写的数据库，同时在每做一步都会有教程和分析，期待更多人加入，一起同行。故不积跬步，无以至千里；不积小流，无以成江海。学以致用，从现在就开始吧。

在当今信息化时代，数据已经成为企业和个人最为宝贵的资产之一。为了有效地管理和利用这些数据，数据库技术应运而生，并得到了广泛的应用。目前市场上已经有很多成熟的数据库产品，如MySQL、Oracle、PostgreSQL等，它们提供了丰富的功能和性能，满足了不同场景的需求。然而，这些数据库产品的庞大和复杂也让很多人感到困惑和不解，不知道数据库内部的运作机制和原理。为了解决这个问题，我们开发了toadb数据库。toadb的目标是以最基础的骨架来搭建一个数据库，让人们能够更清晰地了解数据库的本质和运作原理。

主要更新了解析树，增加了查询树和执行计划树的生成，这有利于带条件SQL和复杂SQL处理，同时节点化各个关系代数运算后，有利于执行计划优化的实现。与此同时，更新了执行器，可以通过输入的计划树来执行，不再像以前通过SQL解析结果。

先来说一下概念：数据库，一般也称为数据库管理系统，当然也有认为这两种叫法是有区别的，我们这里说的数据库，就是数据库软件本身，可以输入SQL，输出结果。这里主要介绍一下通用数据库的核心内容，也就是数据库共性的模块，再此基础上再进行各方向的探索。数据库主要有几大件，可能有你熟悉的，下面我们一起来看看。

词法分析和语法分析是数据库的入口，今天就从头开始，讲解语法分析和语法分析的基础知识，让我们开始吧。flex的前身是Lex, Lex是1975年由Mike Lesk和当时尚在AT&T实习的Eric Schmidt共同完成的），是一个词法分析器的生成程序，可以单独使用也可以与Johnson的yacc协同工作。大概在1987年，Berkeley实验室的Vern Paxson用C重新写了Lex，并命名为FLex（the Fast Lexical Analyzer Generator），基于伯克利许可证。

经过第一阶段的准备，可以解析出create/drop table, select/insert等SQL语句了，那么如何把这几条语句按数据库流程执行完成呢。又经过了第二阶段，这四条语句可以执行了，这是一个不小的阶段；这就涉及到SQL的执行器，执行器是一个比较复杂的模块，从架构上看，它桥接了SQL解析和存储层，同时涉及到了数据字典更新维护，数据扫描，数据从存储到内存的转换等很多模块。下面我们就来详细看一看，taodb是个什么样的数据库，它从零成长到现在，具有什么样的能力了呢？

数据库系统如何识别我们输入的SQL语句呢，当我们输入无论多少空白，它总能识别正确的意思，这些是如何做到的呢？SQL解析就是把我们输入的SQL解析为系统可以使用的标识符，记得我们在学习编译原理时，写过四则运算的解析，原理大致相同。这里我们不再写解析程序，直接借助开源工具flex/bison，它们已经做的非常成熟。接下来我们介绍如何将我们的SQL解析，以及如何在工具集上进行开发SQL解析器。

经过前面的准备，可以解析出create/drop table, select/insert等SQL语句了，那么如何把这几条语句按数据库流程执行完成呢。这就涉及到SQL的执行器，执行器是一个比较复杂的模块，从架构上看，它桥接了SQL解析和存储层，同时涉及到了数据字典更新维护，数据扫描，数据从存储到内存的转换等很多模块。下面我们就来详细看一看，一个SQL执行器是如何工作的。DDL数据定义语言，定义数据库的逻辑结构，包括定义数据库、基本表、视图、索引以及其它数据库对象；DML数据操纵语言。

在当今信息化时代，数据已经成为企业和个人最为宝贵的资产之一。为了有效地管理和利用这些数据，数据库技术应运而生，并得到了广泛的应用。目前市场上已经有很多成熟的数据库产品，如MySQL、Oracle、PostgreSQL等，它们提供了丰富的功能和性能，满足了不同场景的需求。然而，这些数据库产品的庞大和复杂也让很多人感到困惑和不解，不知道数据库内部的运作机制和原理。为了解决这个问题，我们开发了toadb数据库。toadb的目标是以最基础的骨架来搭建一个数据库，让人们能够更清晰地了解数据库的本质和运作原理。

在当今信息化时代，数据已经成为企业和个人最为宝贵的资产之一。为了有效地管理和利用这些数据，数据库技术应运而生，并得到了广泛的应用。目前市场上已经有很多成熟的数据库产品，如MySQL、Oracle、PostgreSQL等，它们提供了丰富的功能和性能，满足了不同场景的需求。然而，这些数据库产品的庞大和复杂也让很多人感到困惑和不解，不知道数据库内部的运作机制和原理。为了解决这个问题，我们开发了toadb数据库。toadb的目标是以最基础的骨架来搭建一个数据库，让人们能够更清晰地了解数据库的本质和运作原理。

在当今信息化时代，数据已经成为企业和个人最为宝贵的资产之一。为了有效地管理和利用这些数据，数据库技术应运而生，并得到了广泛的应用。目前市场上已经有很多成熟的数据库产品，如MySQL、Oracle、PostgreSQL等，它们提供了丰富的功能和性能，满足了不同场景的需求。然而，这些数据库产品的庞大和复杂也让很多人感到困惑和不解，不知道数据库内部的运作机制和原理。为了解决这个问题，我们开发了toadb数据库。toadb的目标是以最基础的骨架来搭建一个数据库，让人们能够更清晰地了解数据库的本质和运作原理。