悟世之路

2024-05-06 monetdb-空值拒绝-记录.

X100使用column-wise vector layout的主要原因是，向量化执行的计算原语与解释执行相比，灵活度较低，函数每次执行时，入参都是vector，即类型是确定的（如int、double等），数组的长度是确定的，不需要关心table的布局（如record偏移信息）。采用这种解释执行方式，存在一个弊端，特别是解释的粒度是一个tuple，对于一个查询执行的cost来说，真正的实际工作cost可能占的比重很小，例如Q1查询中+、-、*、sum、avg计算实际的cost占比可能很低。

monetdb的事务隔离级别只有RR, 和mysql/innodb的具有RR和RC两个隔离级别不同.本文分析monetdb的RR隔离级别的实现方式, 以及分析这种隔离级别方式如何导致只有RR隔离级别.

2023-11-07 monetdb-事务-核心流程分析。

monetdb在事务处理时, 会将数据写入delta缓存中, 然后在commit时将数据写入wal文件, 随后由控制器决定何时将wal中的数据真正的写入BAT列文件中.本文从delta缓存入手, 分析monetdb在事务处理中的细节.

2023-11-02 monetdb-事务提交-日志写入-分析。

对moentdb的database,schema,user,role和权限做分析, 以与mysql中的概念做对比分析.

每个数据库对于db,schema以及user,role都有一套自己的设计, 不同数据库间对于相同名字的东西例如database和schema可以说南辕北辙, 例如mysql中schema其实是database的同义词.本文分析monetdb的db,schema,user,role,权限相关概念.

2023-09-27 monetdb-存储架构-记录存储架构MonetDB SAM/BAM 模块支持两种类型的模式来存储 SAM/BAM 数据。使用，所有对齐记录都可以轻松读取、解析并随后存储，与它们在 SAM/BAM 文件中的存储方式相当。使用，对齐记录对（由对齐记录中的信息确定）一起存储在单个数据库记录中。元数据表无论存储比对记录的数据库模式如何，SAM/BAM 文件的标头都存储在固定数量的元数据表中。它们的规格及关系如下图所示：表“bam.files”存储哪些BAM文件被加载到数据库中。

分析user,role,schema,database之间的关系, 彻底分析出不同对象的细节.

2023-09-22 monetdb-事务管理-记录。

GDK作为moentdb的最核心的内核, 可以看作是物理计划的执行, 以及与磁盘IO直接进行交互.而物理列的数据结构, 就是BAT. 所以GDK也可以看作是对BAT的操作的模块, BAT是GDK操作的对象, 是GDK的一部分.GDK和BAT的名字其实无关紧要, 重要的是这些模块所承载的功能.

monetdb用mvc模块实现了并发控制中对于事务的调度管理, mvc可以看作一次执行的完整的抽象.并发控制中一个比较需要注意的地方就是调度管理以及锁的使用和管理, 是的, 事务对于资源的使用的串行会使用到锁, 但是申请锁和释放锁却不能由事务本身来进行, 而是调度事务的模块来对锁进行管理.本文对mvc模块的设计做一些思考.

严格上来说monetdbe_query_internal不仅仅是查询执行函数, query这个名字有点误导人.这个函数做的事情可以囊括了一个数据库的查询查询执行的核心环节. 本文对该函数进行分析, 以深化对数据库查询之心的理解.

monetdb对于经典的火山模型中的性能瓶颈点做分析后认为, 基于迭代器元组解释执行将造成cpu执行效率的降低, 从而导致火山模型这个执行架构是一个低效的架构。针对cpu硬件的特点, monetdb设计了X100引擎, 本文分析做出如此设计的硬件基础。

monetdb中的核心, 是Goblin Database Kernel的缩写, 在monetdb中的最核心的模块, 可以说是作为逻辑优化,物理优化, 查询执行的整个汇集。本文记录下对monetdb解读的角度。

最近正在分析一个列存储引擎处理缓慢的问题，montedb作为一个查询性能顶级的数据库，有必要参考下monetdb是怎么处理的.本文采取相同的场景, 分析monetdb的处理.相关场景: https://adofsauron.blog.youkuaiyun.com/article/details/130913315

分析monetdb的聚合分组的实现。

monetdb的列的基本抽象是BAT，但是对于列数据的存储方式, 对于固定长度和不固定长度，使用了不同的存储方式。固定长度的数据比如int,int64之类的, 直接存储在了数据tail文件。但是对于不固定长度比如string, 则使用另外一个独立的theap文件存储, tail文件仅保留对于threap的文件的偏移。本文对str数据类型的存储进行详细的分析。

MonetDB/X100: Hyper-Pipelining Query Execution

分析monetdb对于简单聚合的处理, 目的是排除其他算子和模块的干扰，以尽快梳理出对于聚合的操作.

monetdb-BAT及投影限制处理-分析。

monetdb-select投影限制处理-分析, 用simple query分析monetdb的最基本的执行.

记录monetdb-导入tpch数据。

【代码】2023-04-03 monetdb-out join to inner join。

Strictly speaking, database users do not need to be bothered by the technicalities of the underlying systems. For that reason, interfaces have been invented so that users can simply use a database system to process their SQL workload. However, just like wh

【代码】2023-04-03 monetdb-Learning from Benchmarking。

monetdb是一个非常先进的数据库, 区别于传统的火山模型, 采用了物化模型.相比clickhouse和duckdb, 查询速度更快. 对于10GB的TPCH的查询几乎是秒出.本文记录monetdb的编译, 初始化和启动, 做为简单的快速使用的入门.