悟世之路

2023-12-16 数据库-prestodb-文档记录。

2023-11-10 数据库-Presto-记录。

2023-11-07 数据库-ACID-原子性-思考。

对于数据库整体体系结构的理解，是随后逐个模块细化深入突破的前提.如果不能建立全局的图景, 对各个模块之间的关系有深刻的理解，那么在对单个模块的分析突破中，就很容易迷失在里面.更为重要的, 全局的理解，是建立自己的数据库整个体系知识结构的根基.并且, 没有全局的视角, 各个组件和模块之间的关系的模糊，将无法将某个具体的模块的知识通过自身的知识结构回忆起来.

对于数据库内核专家来说, 对于事务并发控制的理论的精通是必备的, 但是最近这段时间, 我能明显到理论和现实的割裂性, 这种情况不但对于理论的驾驭存在挑战, 将理论推行到实践也面临挑战.本文对此种情况做一些分析.上下文相关: 2023-09-20 事业-代号z-个人品牌-数据库内核专家-分析_财阀悟世的博客-优快云博客

使用锁来控制并发, 既熟悉,又陌生。锁的使用再熟悉不过了，用锁来控制并发就像用锁来处理多线程的安全性问题一样，mysql/innodb的所谓x锁/s锁/间隙锁等等以及什么时候锁表什么时候又是行锁又是八股文里的常客。很难对利用锁来做并发控制不产生一种他乡遇知音的熟悉感。但是这只是肤浅的表面认知，仅仅是流于表面，对并发控制以及使用锁来进行并发并没有深刻的以及系统化的思考。本文对利用锁进行并发控制做一些思考。

将冲突进行可串行化调度, 是解决冲突是一个基本功能. 对于冲突是否可被串行化调度, 比较有效的就是优先图的方法.本文对检测冲突可串行化调度的优先图做一些分析.

数据库的并发控制中, 识别并处理掉可串行化的调度是商业数据库必不可少的, 也是最为基本的.本文对于冲突的可串行化做一些分析和思考。

此前做查询优化和查询执行比较多, 一般是在一个单独的事务内考虑优化查询.最近在做并发控制方面的事情, 一些此前考虑的较少的方面需要做更为深入的思考.并发控制和事务的特性息息相关, 直白的说就是事务的隔离性, 但是这么理解过于肤浅, 本文做一些初步的思考.

很难想象数据库的会话管理的重要性会被如此重要的提及, 如何处理会话或者说连接，不但涉及到资源使用方面, 对于数据库的形态也有非常大的决定性影响。本文对数据库的连接做一些分析与思考。

大概用了9个月的时间，研读了优化器、执行器经典论文，论文主要来源于。

对列存储数据库的选型需要注意的要点做分析, 以及罗列主要的列存储数据库做。

创业失败的直接因素便是资金链断裂无法支撑, 但是这个只是最终的结果，而导致资金链断裂导致无法进行下去, 这个过程中的诸多因素就需要慎重的分析, 就像有句谚语说的，成非成于成之日，败非败于败之时.由于涉及的因素有多重侧面, 所以分多个文章逐个分析, 本文探讨技术层面.

duckdb数据库中比较有特点就是区别于火山模型的自上而下pull数据的, 自底向上将数据push的模型, 同时对操作符或者说算子的处理做了基于多线程的pipeline, 这样在对多核cpu的利用率被提升。最近看到Doris2.0对于查询性能的提升的设计思路, 与duckdb的做法简直是一样, 不由得唏嘘感慨。本文做些简单的记录与思考。

monetdb对于经典的火山模型中的性能瓶颈点做分析后认为, 基于迭代器元组解释执行将造成cpu执行效率的降低, 从而导致火山模型这个执行架构是一个低效的架构。针对cpu硬件的特点, monetdb设计了X100引擎, 本文分析做出如此设计的硬件基础。

数据压缩，确定一列数据的规律* 查询时可以时读的数据量更少，在IO密集型计算中获得更多的性能优势* 相同类型压缩效率更高* 可以针对不同类型使用不同的压缩算法。* 高效的压缩可以减少磁盘IO数据量，但是高效的压缩都必须遵循某种特殊的规律，比如数据的长度，类型等一致；基于列式的查询数据库正好遵循这一点；此外，某些特别的数据压缩格式，比如 RUN-Length编码，甚至可以在不做解压时便可以对数据过滤，减少无关的IO数据选择优势大* 可以选择特定的列做计算而不是读所有列* 对聚合计算友好。

○The amount of function calls performed by the query interpreter goes down by a factor equal to the vector size compared to the tuple-at-a-time model.（与 tuple-at-a-time 模型相比，查询解释器执行的函数调用量减少了一个与矢量大小相等的系数。其次，更多相似的数据意味着通常用于压缩的数据结构、代码等将更小，从而导致更友好的压缩。

记录关于事务及数据安全的思考, 虽说持久性和一致性是事务的特征, 不过将数据安全再摘出来还是有好处。

数据库的查询模型比较经典的是火山模型, 其实就是流水线操作, 例如mysql.作为对应的便是物化模型, 例如monetdb.列存数据库自从monetdb的开创性paper开始, 几乎都是采用了物化模型. 并且一定程度上结合了流水线操作, 例如duckdb.本文做些简要的分析.

SDM是一个数据同步工具，从源数据库同步到目标数据库. 使用起来倒是相当简单.本文简单记录下。

【代码】2023-03-09 CMU15445-Query Execution。

Set TheoryX RX RX5 Examplefollows:RX1  Ø;1. X ØcardRXcardRXXclass;where };E6  {X 7};

Readings in Database Systems, 5th EditionPeter Bailis, Joseph M. Hellerstein, Michael Stonebraker, editorsReadings in Database Systems (commonly known as the "Red Book") has offered readers an opinionated take on both classic and cutting-edge research in t

ByYONGWEN XUin1998IABSTRACTIICascades.IIIIVJingke Liiiiii4.4.21models.23thesis.45Queryin DMLQuery TreeOPTIMIZERparsingCatalogExecutionEngineDatabaseContentsResultOutputexecutinguser level11722833910Select *

Apply 的含义用下图右半部分的集合表达式定义：对于 Outer Relation RR 中的每一条数据 rr，计算 Inner Relation E(r)E(r)，输出它们连接（Join）起来的结果 r⊗E(r)r⊗E(r)。上文说到的 Relation - Expression - Relation 这种交替引用不仅执行性能堪忧，而且，对于优化器也是个麻烦的存在——我们的优化规则都是在匹配并且对 Relation 进行变换，而这里的子查询却藏在 Expression 里，令人无从下手。

https://www.gnu.org/software/bison/manual/bison.htmlThis manual (10 September 2021) is for GNU Bison (version 3.8.1), the GNU parser generator.Copyright © 1988–1993, 1995, 1998–2015, 2018–2021 Free Software Foundation, Inc.Next: Conditions for Using Bison,

Next Previous Contentshttps://tldp.org/HOWTO/Lex-YACC-HOWTO.htmlv0.8 $Date: 2002/04/20 19:46:46 $This document tries to help you get started using Lex and YACCNext Previous Contents

Yacc: Yet Another Compiler-CompilerStephen C. JohnsonComputer program input generally has some structure; in fact, every computer program that does input can be thought of as defining an ``input language'' which it accepts. An input language may be as comp

ABSTRACT+-------++-------++-------++-------+Figure 1%%[ \t]+$;%%[ \t]+$;Figure 2%%{rules}%%%%integera57Dxyz"++""xyz++"xyz\+\+thus[-+0-9][^abc]or[^a-zA-Z].[\40-\176]ab?ca*whilea+[a-z]+(ab|cd)ab|cd。

The difference between top-down parsing and bottom-up parsing

比如按时间date顺序导入数据，那么前一个DP的max（date）

记录多线程安全的并行hash map。

defs.hQueries':

The notion of Rough sets was introduced by Z Pawlak in his seminal paper of 1982 (Pawlak 1982). It is a formal theory derived from fundamental research on logical properties of information systems. Rough set theory has been a methodology of database mining

进行SIMD/AVX的cpu并行化指令集性能测试, 为后续优化提供数据依据cpu:gcc版本:gcc编译器优化级别设置: 所有程序编译都开启 -O2 级别优化思路是对一个数据文件中的匹配字符进行查找, 对比耗时, 单位毫秒:目的是生成一个数据文本测试结果:一. 对比SIMD二. 对比AVX.....................

摘要:产品的管控依赖的miniMysql, 管控在运行前, mysql中需要执行一些必要的sql语句, 一般为创建表结构和填充规格数据.此前一直由开发人员将sql语句交给DBA手动执行, 人为执行非常容易引发错误. 是以设计sql的自动化执行的规则. 本文对其使用做说明。本文包含两部分:数据库语句自动化执行的工具说明 数据库sql语句的编写要点说明数据库语句自动化执行的工具说明需求说明:方便快速构建和代码匹配的数据库结构 增量修改表结构，保持数据 重...