postgreSQL 的 dynamic hash table

最新推荐文章于 2024-12-07 16:44:16 发布
原创 最新推荐文章于 2024-12-07 16:44:16 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#postgresql #table #数据结构 #存储

DynamicHashTable是一种内存中的数据结构，用于高效查找。它通过二级HASH索引实现，包含多个目录(directory)，每个目录下有多个段(segment)作为bucket链表的首指针，相同hash值的数据形成bucket链表。

dynamic hash table 是只存在于内存中，不向硬盘写的，为了便于内存查找的数据结构，不是index

dynamic hash table 既可以存在本进程的私有内存，也可以存在共享内存中，

dynamic hash table 中存在多个directory, 每个directory存在多个 segment, 每个segment其实就是 bucket 链表的首指针，hash 值相同的构成一个bucket链表，每个 bucket 存储实现的 hash 项

总来的说相当于二级HASH索引，在utils/ hash /dynahast.c 中实现

【0289】Postgres内核之哈希表（Hash Tables）
Postgres 数据库内核开发工程师
07-02 641
如果您要查找的项目恰好在列表的前面，则检索是一个 O(1) 操作，因为您只向下遍历了一个节点。如果该项目位于列表的末尾，则检索它将是 O(n) 操作，其中 n 是列表中节点的总数。这使得数据管理对于用户来说更易于管理，因为按属性对数据条目进行分类比按它们在一个巨大的列表中的数量更容易。然而，在哈希表中，元素（又名桶）可以扩展或收缩以容纳几乎无限数量的表条目。总而言之，随着数组中元素数量的增加，通过索引访问元素的运行时间保持不变。使用链表，访问特定元素所需的时间会随着元素的数量线性增加。
【0291】Postgres内核之 dynahash table 创建（hash_create）
Postgres 数据库内核开发工程师
07-04 527
完成。该函数声明于hsearch.htabnameneleminfoflags*info注意：对于共享内存哈希表，nelem需要是一个非常好的估计值，因为我们不能动态地扩展表。但是非共享哈希表可以动态扩展，因此最好让nelem保持较小的规模，并在超出时让表继续增长。过大的nelem会降低的速度，而不会带来太多好处。
Dynamic Hash Table
changtao381的专栏
05-27 1082
HashTable 在数据存储系统中经常见到。 HashTable 分为 静态 hash 和动态 hash 两种，在静态hash table中，bucket，也就是hash桶的数量是固定的， 而在动态hash中，hash桶的数量是逐步增长的。 动态hash有两种， extensible hash  and line hash.
Postgresql源码分析: 动态Hash
Li_Shugan1的专栏
09-13 3944
1. 为什么需要动态hash    平常的hash，大多是下面这样一副面孔:                                                              图1         一个静态hash结构       这种Hash维护着一些桶，就是图上左边的部分，每一个桶中装着hash值相同的数据。这些具有相同hash值的数据形成一个链表。这种hash的一个最
PostgreSQL源码分析: 动态Hash
11-25 1573
1. 为什么需要动态hash 平常的hash，大多是下面这样一副面孔: 图1         一个静态hash结构 这种Hash维护着一些桶，就是图上左边的部分，每一个桶中装着hash值相同的数据。 这些具有相同hash值的数据形成一个链表。这种hash的一个最主要缺点就是桶的数目是一定的，不易扩展，随着插入数据增多，查找效率会急剧下降。 动态hash就是用来
【0290】Postgres内核之dynahash（动态哈希表，dynamic hash tables）（概念篇）
Postgres 数据库内核开发工程师
07-02 446
在【0299】Postgres内核之哈希表（Hash Tables）一文中，讲解了哈希表的作用、实现、优缺点等特性。本文开始，将详细分析Postgres内核中动态哈希表的实现原理。
【0295】Posgres内核 dynahash table 之 hash_search 实现原理（2）
Postgres 数据库内核开发工程师
07-08 426
在【0294】Postgres内核 dynahash 之 hash_search 实现原理（1）一文中，从Postgres内核源码角度详细讲解了dynamic hash table中 hash search 的实现原理。如何确定segment位置如何确定bucket位置当所查找的elements不在bucket时候，如何为bucket去创建elemetns的过程Posgres在创建了elements之后（），如何从freeList中移除 entry，并增加nentries计数。
【0294】Postgres内核 dynahash 之 hash_search 实现原理（1）
Postgres 数据库内核开发工程师
07-05 712
注意：扩展表失败不是致命错误，它只是意味着我们必须在比我们想要的更高的填充因子下运行。但是，如果我们使用palloc分配器，那么无论如何它都会在内存不足时抛出错误，因此我们必须在修改表之前执行此操作。（1）如果参数action是插入（HASH_ENTER），需检查是否到了拆分桶（bucket）的时间。附： 这里的枚举值定义，以及Postgres内核中的dynahash实现， 与glibc库源码中“的元素的指针（如果有），如果没有找到匹配项则返回NULL。的情况下是需要的，但是对于返回值来说是多余的。
PostgreSQL的学习心得和知识总结（一百六十二）|深入理解PostgreSQL数据库之调整 PostgreSQL 执行计划pg_hint_plan的使用和实现(一)
孤傲小二~阿沐的博客
12-07 1450
深入理解PostgreSQL数据库之调整 PostgreSQL 执行计划pg_hint_plan的使用和实现(一)
数据库5 索引 动态哈希（Dynamic Hashing）
weixin_30408309的博客
06-12 366
索引文件 聚集索引和非聚集索引 其实，我们的汉语字典的正文本身就是一个聚集索引。比如，我们要查“安”字，就会很自然地翻开字典的前几页，因为“安”的拼音是“an”，而按照拼音排序汉字的字典是以英文字母“a”开头并以“z”结尾的，那么“安”字就自然地排在字典的前部。如果您翻完了所有以“a” 开头的部分仍然找不到这个字，那么就说明您的字典中没有这个字；同样的，如果查...
PostgreSQL数据库数据结构——动态哈希表实现
肥叔菌的博客
07-20 2038
结构图 hash 表包含了多个 segment 切片，每个 segment 包含了相同数量的 bucket。里面的 bucket 使用链表存储着 hash 值相同的元素。 当查找指定的 key 时，首先计算出它的哈希值，然后根据后面的几位数，计算出对应的 bucket 位置。之后遍历 bucket 的元素链表，查看是否有 key 元素。 当增加元素时，同样先找到对应 bucket 位置，然后查看是否存在对应的链表中。如果不存在，直接添加到尾部。如果存在则可以覆盖或者报错。 当删除元素时，同样先找到对应 b
PostgreSQL数据库数据结构——操作动态哈希表
肥叔菌的博客
07-20 1201
hash_search函数在table中查找key，并执行操作。hash_search_with_hash_value函数输入的key已经计算过其哈希值。 action的值为：查找key（HASH_FIND）、查找key，如果没有就创建（HASH_ENTER）、查找key，如果没有就创建，如果out of memory返回NULL（HASH_ENTER_NULL）、查找key，如果有就移除（HASH_REMOVE）。 void *hash_search(HTAB *hashp, const void *ke
PostgreSQL哈希表相关操作
u011481289的博客
01-26 654
hash_seq_init 遍历哈希表初始化 hash_seq_search 遍历哈希表
postgreSQL的哈希索引
qq_34276652的博客
08-07 391
Hash Table (Hash Map) 哈希表是根据key直接进行访问的数据结构（这一结构的实现通常采用数组），它通过把关键码值映射（这个映射函数叫做散列函数）到表中一个位置来访问记录，以加快查找的速度。 ahash table(hash map) is a data structure that implements an associative array abstract data type,a structure that can map keys to values. A has...
Hash Table
葉子曦
05-03 509
Hash table属于如图层次中的Access Methods一层，是一种用来对数据库进行读或写的方式。 数据库内部锁维护的数据结构有两种：hash table和order-preserving tree。 Page table或page directory本质上就是hash table，通过page_id得到buffer pool中的frame或者得到磁盘上的位置。 Hash Tables 哈希表是一个抽象数据类型，通过它来提供无需的关联函数实现API。 也就是将任意的key映射到对应的值上。 空间.
11 Hash tables
weixin_30872867的博客
05-01 138
11 Hash tables Many applications require a dynamic set that supports only the dictionary operations INSERT, SEARCH, and DELETE. For example, a compiler that translates a programming language mai...
【0292】Postgres内核源码之dynahash 插入entry实现
Postgres 数据库内核开发工程师
07-04 235
在一文中，从内核源码的实现角度讲解了Postgres创建dynahash的底层实现机制；本文将继续从内核角度分析Postgres dynahash find的实现原理。
动态哈希(dynamic hashing)
gonxi的专栏
01-12 1878
        随着存储设备越来越便宜，哈希表以空间换时间的策略也越来越吃香，而其它如二叉树、红黑树、B树，都因为查询速度不够或实现太复杂而在实战中渐渐不被使用。在日益增大的存储需求下，拥有固定slot（桶）数的静态哈希表已经无法适应需要，动态哈希表便应运而生了。<br />        动态哈希表通常是在发生冲突后slot数量翻倍增长，而增长后毕竟哈希函数也变了，所以还要把旧slot里的元素重新放置。这种简单的动态哈希(dynamic hash)算法便是SGI版的STL中hash_map的实现。但如果每
postgresql数据库数据结构——创建动态哈希表
肥叔菌的博客
07-15 1694
hash_create 创建动态哈希表hash_create函数，形参tabname用于传入表名，nelem用于传入元素(elemets)的最大数量，info传入额外表参数结构体指针，flags用于传入用于指示从Info取哪些参数的掩码。 以InitShmemIndex函数为例， ...
i cotategorized sQlException; soL state artition for value from column list; nested exception is java.sql.sqLException: Table has no partition for valu
最新发布
07-03
这个错误表明你的应用程序尝试向一个**分区表**插入或更新数据，但提供的分区键值（partition key value）没有对应的分区（partition）。以下是详细分析和解决方案： --- ### **错误原因** 1. **分区表配置问题** - 表使用了分区（如 RANGE、LIST、HASH 等），但插入的数据的分区键值不在任何分区范围内。 - 例如：表按 `year` 列分区，但插入的数据 `year=2025`，而表只定义了 `2020-2024` 的分区。 2. **动态分区未启用** - 某些数据库（如 Hive）支持动态分区，但未正确配置。 3. **SQL 语句问题** - 显式指定了不存在的分区名（如 `INSERT INTO table PARTITION(p2025) VALUES (...)`）。 4. **分区键值类型不匹配** - 分区键是整数，但插入了字符串（如 `year='2025'` 而非 `year=2025`）。 --- ### **解决方案** #### 1. **检查分区定义** 确认表的分区规则和现有分区范围： ```sql -- MySQL/PostgreSQL SHOW CREATE TABLE 表名; -- Hive SHOW PARTITIONS 表名; ``` #### 2. **添加缺失的分区** 如果分区确实缺失，手动添加： ```sql -- MySQL RANGE 分区示例 ALTER TABLE 表名 ADD PARTITION (PARTITION p2025 VALUES LESS THAN (2026)); -- Hive 动态分区配置（需在会话中启用） SET hive.exec.dynamic.partition=true; SET hive.exec.dynamic.partition.mode=nonstrict; ``` #### 3. **验证插入数据的分区键值** 确保插入的数据符合分区规则： ```sql -- 检查分区键的值 SELECT DISTINCT partition_column FROM 表名; -- 示例：修复插入语句 INSERT INTO 表名 (partition_column, ...) VALUES (2024, ...); -- 确保值在分区范围内 ``` #### 4. **检查应用程序代码** 如果是 JDBC/ORM 框架（如 Hibernate）报错，检查： - 实体类是否映射了正确的分区键。 - SQL 语句是否硬编码了不存在的分区名。 --- ### **预防措施** 1. **设计分区时预留范围** 例如，按年份分区时提前创建未来几年的分区。 2. **使用默认分区（如 `MAXVALUE`）** ```sql ALTER TABLE 表名 ADD PARTITION (PARTITION p_max VALUES LESS THAN MAXVALUE); ``` 3. **监控分区使用情况** 定期检查数据分布，避免热点分区。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值