postgresql源码(十四)——Executor(查询执行模块之——Join节点(下))

原创

已于 2022-09-14 10:51:40 修改 · 606 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#postgresql #数据库

于 2022-04-13 19:55:43 首次发布

本文详细介绍了PostgreSQL中HashJoin节点的工作原理，包括Hash连接算法步骤、Hash表管理、多线程内连接优化，以及状态机在执行流程中的应用。重点讨论了分块与分桶策略，以及如何通过内存管理提高连接效率。

3.HashJoin 节点

postgres=# explain select a.*,b.* from test_dm a join test_dm2 b on a.xxx = b.xxx;
                                   QUERY PLAN
--------------------------------------------------------------------------------
 Hash Join  (cost=34846.00..305803.23 rows=1000000 width=137)
   Hash Cond: ((b.xxx)::text = (a.xxx)::text)
   ->  Seq Scan on test_dm2 b  (cost=0.00..223457.17 rows=10000017 width=69)
   ->  Hash  (cost=22346.00..22346.00 rows=1000000 width=68)
         ->  Seq Scan on test_dm a  (cost=0.00..22346.00 rows=1000000 width=68)
(5 行)

Hashjoin节点实现了Hash连接算法，它能够实现前面说到的六种连接方式。

以下我们以表R(左关系)与表S(右关系)连接为例，说明Hash连接的实现过程。

1)对一个表(例如S)进行Hash时，其块和桶数量的确定和划分方法如下：

①首先对S分块(batch),估算存储S所占用的空间(inner_rel_bytes), Hash所使用的内存空间被定义为 1 兆(hash_table_bytes)，则分块的数量 nbatch = ceil(inner_rel_bytes/hash_table_bytes)。

②在内存中，每一个块又被划分为大小为10个元组的桶，因此，个数为nbucket = (hash_table_bytes/tuplesize)/10,其中tuplesize为元组大小的估计值。

③对于一个Hash值为hashvalue的元组，其所属的分块号为(hashvalue/nbucket)%nbatch,其对应的桶号为hashvalue%nbucket。

④在PostgreSQL实现中，为了能够使用位操作(位与和移位)实现取模和取余操作，将nbatch和nbucket取为不小于计算值的2的n次,并使得2^log2_nbuckets = nbucket,则块号的计算方法为(hashvalue >> log2_nbuckets)&(nbatch - 1)，桶号计算式为hashvalue&(nbucket - 1)。