2022-09-05 stonedb-查询时多线程并行处理开发路线图

摘要:

记录对于stonedb进行利用多核CPU加快查询时的nested loop策略的路线图。

所涉及模块:

一. STONEDB相关

1. stonedb查询优化器整体架构
2. stonedb列存储模块
3. stonedb条件处理模块
4. stonedb的迭代器/索引/维度/索引表相关模块
5. stonedb的缓存模块

二. 业界领域横向数据库策略借鉴化

1. clickhouse向量化并行读取pack
2. mariadb的column store列存储
3. mysql 8查询优化器优化策略

进度路线计划:

一. 对STONEDB架构设计和模块设计的理解 

• 预估耗时:  1.5个人月

二. 吸取业界领先的并行化设计思想, 重构STONEDB底层模块的设计

• 预估耗时: 1个人月

三. 对STONEDB根据正确的并行化设计, 改造底层访问接口

• 预估耗时: 1个人月

四. 对逻辑层nested loop逻辑进行重构

• 预估耗时: 1.5个人月

五. 单元测试及回归测试

• 预估耗时: 0.5个人月