2022-09-01 stonedb-遍历元组数据时进行多线程拆解

目录

摘要:

拆分成多线程处理面临的问题:

一. 需要有一个线程池任务处理模块

二. 明确出临界区的范围

2.1 要遍历访问的元组数据

2.2 在遍历访问元组时的一些状态控制的数据

2.3 遍历访问元组获取的符合条件的结果

三. 理解底层模块间的数据关系, 避免在多线程处理时破坏底层的访问

对顺序遍历元组进行多线程拆分的一般做法:

一. 必须读懂原有代码的逻辑

二. 提取出每个任务所必须的数据

三. 在单独的任务内访问元组子集

四. 合并每个任务的结果集

参考:

---

摘要:

逐行访问数据库中的元素涉及对磁盘IO的操作, 读取pack后又涉及解压和数据转换的操作，单线程处理时会产生大量的耗时。

一个简单的做法便是将数据拆分成不同的子集，然后利用多核CPU去处理不同的子集，最后将结果汇总。

本文分析这样的做法的一般性。

拆分成多线程处理面临的问题:

一. 需要有一个线程池任务处理模块

如果没有的话，那就需要写一个这样的多线程任务处理的模块，需要包含以下内容:

1. 包含对要处理的任务的基本的数据结构的包装
   1. 一个任务必须可以独立的运行
   2. 任务与线程之间的关系，由线程池去消费任务
2. 可以线程池中添加任务