数据库修化神篇四——简介和设置REPL

关注

原创 2024-11-18 17:11:27 229 阅读 AI 写同款· GEO 优化 ›

SQLite克隆|第一步：简介和制作REPL SQLite简介制作简单的REPL(read-execute-print loop) 因为实习工作原因，需要学习SQLite的源码。那我就寻思，干嘛不直接写一个呢，于是找了一个资源，准备从无到有来过一下SQLite的框架。于是在这里做一个记录。简介 SQLite，是一款轻型的数据库，是遵守ACID的关系数据库管理系统，SQLite是D.RichardHipp用C语言编写的开源嵌入式数据库引擎。它是完全独立的，不具有外部依赖性。它是作PHPV4.3中的一个选项引入的，构建在PHPV5中。SQLite支持多数阅读详情

第一章简介和设置REPL

注：本文翻译参考自db_tutorial.

作为一名Web开发人员，我每天都在工作中使用关系数据库，但它们对我来说是一个黑匣子。我有一些问题：

数据以什么格式保存？（在内存和磁盘上）
它何时从内存移动到磁盘？
为什么每个表只能有一个主键？
回滚事务如何工作？
索引的格式是什么样的？
什么进行全表扫描？如何进行全表扫描？
预处理语句以什么格式保存？

为了弄清楚事情，我们将从头开始编写一个数据库。它是以sqlite为模型的，因为它被设计得很小，比MySQL或PostgreSQL的功能更少，我们更容易理解它。而且sqlite的整个数据库存储在一个文件中！

sqlite sqlite

sqlite网站上有很多关于sqlite内部的文档，另外还有一份SQLite数据库系统：设计和实现的文档(该文档可能无法访问)。

sqlite的架构大致如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bcItHO4V-1687694827023)(./img/arch1.gif)]

查询通过组件链来检索或修改数据。前端包括：

tokenizer 分词器
parser 解析器
code generator 代码生成器

前端的输入是 SQL 查询。输出是SQLite虚拟机字节码（本质上是一个可以在数据库上运行的编译程序）。

后端包括：

virtual machine 虚拟机
B-tree B树
pager 页
os interface 界面

虚拟机将前端生成的字节码作为指令。然后，它可以对一个或多个表或索引执行操作，每个表或索引都存储在称为 B 树的数据结构中。VM 本质上是关于字节码指令类型的很大的switch语句。

每个 B 树由许多节点组成。每个节点的长度为一页。B树可以从磁盘检索页面，也可以通过向pager发出命令将其保存回磁盘。

pager接收用于读取或写入数据页的命令。它负责在数据库文件中以适当的偏移量读取/写入。它还在内存中保留最近访问的页面的缓存，并确定何时需要将这些页面写回磁盘。

操作系统接口是因编译 sqlite 所针对的操作系统而异的层。在本教程中，我不打算支持多个平台。

千里之行始于足下，所以让我们从更直接的东西开始：REPL。

制作一个简单的REPL

当您从命令行启动 Sqlite 时，它会启动读取-执行-打印循环：

~ sqlite3
SQLite version 3.16.0 2016-11-04 19:09:39
Enter ".help" for usage hints.
Connected to a transient in-memory database.
Use ".open FILENAME" to reopen on a persistent database.
sqlite> create table users (id int, username varchar(255), email varchar(255));
sqlite> .tables
users
sqlite> .exit
~

为此，我们的 main 函数将有一个无限循环，用于打印提示，获取一行输入，然后处理该行输入：

int main(int argc, char* argv[]) {
  InputBuffer* input_buffer = new_input_buffer();
  while (true) {
    print_prompt();
    read_input(input_buffer);

    if (strcmp(input_buffer->buffer, ".exit") == 0) {
      close_input_buffer(input_buffer);
      exit(EXIT_SUCCESS);
    } else {
      printf("Unrecognized command '%s'.\n", input_buffer->buffer);
    }
  }
}

我们将 InputBuffer 定义为我们需要存储以与 getline（）交互的状态的小包装器。（稍后会详细介绍）

typedef struct {
  char* buffer;
  size_t buffer_length;
  ssize_t input_length;
} InputBuffer;

InputBuffer* new_input_buffer() {
  InputBuffer* input_buffer = (InputBuffer*)malloc(sizeof(InputBuffer));
  input_buffer->buffer = NULL;
  input_buffer->buffer_length = 0;
  input_buffer->input_length = 0;

  return input_buffer;
}

接下来， print_prompt() 向用户打印提示。我们在读取每行输入之前执行此操作。

void print_prompt() {
     printf("db > "); 
}

要读取输入行，请使用 getline（）：

ssize_t getline(char **lineptr, size_t *n, FILE *stream);

lineptr ：指向我们用来指向包含读取行的缓冲区的变量的指针。如果它设置为 NULL ，则它被 getline 错误定位，因此即使命令失败，用户也应释放它。
stream ：要从中读取的输入流。我们将从标准输入中读取
return value ：读取的字节数，可能小于缓冲区的大小。

我们告诉 getline 将读取行存储在 input_buffer->buffer 中，将分配的缓冲区的大小存储在 input_buffer->buffer_length 中。我们将返回值存储在 input_buffer->input_length 中。

buffer 以 null 开头，因此 getline 分配足够的内存来保存输入行并使其指向 buffer 。

void read_input(InputBuffer* input_buffer) {
#ifdef _WIN32
  size_t len;
  fgets(input_buffer->buffer, MAX_INPUT_BUFFER, stdin);
  len = strlen(input_buffer->buffer);
  if (len <= 0) {
    printf("Error reading input\n");
    exit(EXIT_FAILURE);
  }
  input_buffer->input_length = len - 1;
  input_buffer->buffer[len - 1] = '\0';
#else
  
  ssize_t bytes_read =
      getline(&(input_buffer->buffer), &(input_buffer->buffer_length), stdin);

  if (bytes_read <= 0) {
    printf("Error reading input\n");
    exit(EXIT_FAILURE);
  }

  // Ignore trailing newline
  input_buffer->input_length = bytes_read - 1;
  input_buffer->buffer[bytes_read - 1] = 0;
#endif
}

注意：windows下没有getline函数，这里使用fgets来代替。

现在定义一个函数来释放分配给 InputBuffer * 实例和相应结构的 buffer 元素的内存（ getline 在read_input中为 input_buffer->buffer分配内存）。

void close_input_buffer(InputBuffer* input_buffer) {
    free(input_buffer->buffer);
    free(input_buffer);
}

最后，我们解析并执行命令。现在只有一个可识别的命令： .exit ，它终止程序。否则，我们将打印错误消息并继续循环。

if (strcmp(input_buffer->buffer, ".exit") == 0) {
  close_input_buffer(input_buffer);
  exit(EXIT_SUCCESS);
} else {
  printf("Unrecognized command '%s'.\n", input_buffer->buffer);
}

以下部分是完整程序代码：

#include <stdbool.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>

#ifdef _WIN32
#define MAX_INPUT_BUFFER 4096
#endif

typedef struct {
  char* buffer;
  size_t buffer_length;
  ssize_t input_length;
} InputBuffer;

InputBuffer* new_input_buffer() {
  InputBuffer* input_buffer = malloc(sizeof(InputBuffer));
  #ifdef _WIN32
  input_buffer->buffer = malloc(MAX_INPUT_BUFFER);
  #else
  input_buffer->buffer = NULL;
  #endif
  input_buffer->buffer_length = 0;
  input_buffer->input_length = 0;

  return input_buffer;
}

void print_prompt() { printf("db > "); }

void read_input(InputBuffer* input_buffer) {
#ifdef _WIN32
  size_t len;
  fgets(input_buffer->buffer, MAX_INPUT_BUFFER, stdin);
  len = strlen(input_buffer->buffer);
  if (len <= 0) {
    printf("Error reading input\n");
    exit(EXIT_FAILURE);
  }
  input_buffer->input_length = len - 1;
  input_buffer->buffer[len - 1] = '\0';
#else
  
  ssize_t bytes_read =
      getline(&(input_buffer->buffer), &(input_buffer->buffer_length), stdin);

  if (bytes_read <= 0) {
    printf("Error reading input\n");
    exit(EXIT_FAILURE);
  }

  // Ignore trailing newline
  input_buffer->input_length = bytes_read - 1;
  input_buffer->buffer[bytes_read - 1] = 0;
#endif
}

void close_input_buffer(InputBuffer* input_buffer) {
    free(input_buffer->buffer);
    free(input_buffer);
}

int main(int argc, char* argv[]) {
  InputBuffer* input_buffer = new_input_buffer();
  while (true) {
    print_prompt();
    read_input(input_buffer);

    if (strcmp(input_buffer->buffer, ".exit") == 0) {
      close_input_buffer(input_buffer);
      exit(EXIT_SUCCESS);
    } else {
      printf("Unrecognized command '%s'.\n", input_buffer->buffer);
    }
  }
}

对应的Makefile文件如下：

all:
	gcc -g -O0 main.c -o db
clean:
	rm -rf db

执行如下命令编译并执行，编译过程及执行结果如下：

PS D:\code\db021\code> make
gcc -g -O0 main.c -o db
PS D:\code\db021\code> .\db.exe
db > .help
Unrecognized command '.help'.
db > .exit
PS D:\code\db021\code>