duckdb
关注
分享
扫一扫
文章平均质量分 64
duckdb
悟世者
希望用技术改变世界的程序员，资深数据库内核架构师，长期在一线从事数据库核心模块开发。有希望咨询和交流的问题可以直接私信或者留言，看到后会及时回复。
展开
-
2023-07-04 duckdb-数据push模型及pipeline模型-与Doris2.0的pipeline执行模型-思考
duckdb数据库中比较有特点就是区别于火山模型的自上而下pull数据的, 自底向上将数据push的模型, 同时对操作符或者说算子的处理做了基于多线程的pipeline, 这样在对多核cpu的利用率被提升。最近看到Doris2.0对于查询性能的提升的设计思路, 与duckdb的做法简直是一样, 不由得唏嘘感慨。本文做些简单的记录与思考。原创 2023-07-04 15:36:23 · 997 阅读 · 0 评论 -
2023-04-21 duckdb-Parallel Grouped Aggregation
【代码】2023-04-21 duckdb-Parallel Grouped Aggregation。原创 2023-04-21 11:12:11 · 664 阅读 · 0 评论 -
2023-04-04 duckdb-物理计划-join-分析
分析duckdb的物理计划中的join。原创 2023-04-04 16:56:26 · 559 阅读 · 0 评论 -
2023-03-29 duckdb-物理计划执行-Pipeline和TaskScheduler
duckdb的物理计划的执行的架构设计很出色, 每个物理计划的算子可以多线程并行的处理.处于核心地位的便是Pipeline和TaskSchedule, 可以将其理解为多线程模型中的生产者与消费者模式, 但是和物理计划执行组合起来, 就能体会到这样设计的简洁和优雅.原创 2023-03-29 19:01:19 · 1090 阅读 · 0 评论 -
2023-03-29 duckdb-查询计划-逻辑计划和物理计划
duckdb的查询计划倒是很复合教科书的定义, 先将ANSI SQL转换成查询树, 生成逻辑查询计划. 然后将逻辑查询计划的节点转换成物理计划的节点.相比于mysql的没有清晰划分的逻辑计划和物理计划, 所有操作都是对着转换后的查询树节点处理,看起来清晰了很多.本文对逻辑计划和物理计划做一些分析. 会涉及到基于规则的优化,但是不涉及基于代价的优化.基于代价的优化随后单独分析.原创 2023-03-29 18:26:40 · 797 阅读 · 0 评论 -
2023-03-24 duckdb-线程池与并行任务处理
duckdb对于物理计划的执行采用了并行处理, 对pipeline的处理很值得学习.本文以聚合为例进行分析。原创 2023-03-24 18:37:48 · 1349 阅读 · 0 评论 -
2023-03-23 duckdb-物理计划-聚合-分析
duckdb的物理计划很有特点, 使用了流水线的并行处理. 本文以聚合为例对其进行分析。原创 2023-03-23 20:39:24 · 343 阅读 · 0 评论 -
2023-03-22 duckdb-查询优化-替换为自己实现的物理查询计划
duckdb是一个非常精简的OLAP的SQL实现，非常适合研究查询计划, 本文记录将duckdb的逻辑计转换为自己的物理 计划.原创 2023-03-22 13:43:05 · 672 阅读 · 0 评论