【0040】 PostgreSQL数据库表文件底层结构布局分析

置顶 已于 2023-08-31 20:10:34 修改
阅读量1.8k 收藏 5
点赞数 1
分类专栏： # ▲ 初阶篇 文章标签： postgresql c语言 数据库
于 2021-05-21 16:35:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lixiaogang_theanswer/article/details/117125721
版权
▲ 初阶篇 专栏收录该内容
343 篇文章 ¥119.90 ¥299.90
订阅专栏
本文深入探讨了PostgreSQL数据库的表文件结构，包括数据簇目录位置、表文件位置、表文件内部布局。详细分析了页的内部布局，如页头部数据结构、行指针和元组结构，并介绍了如何使用pageinspect扩展和相关工具来查看和分析表文件内容。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

1. 表文件

    PostgreSQL提供了可靠、稳定、有序的数据存储、检索管理。即使在不知道其背后运行原理的情况下，也没有多大关系，因为我们只需要按部就班地执行建库、建表然后插入数据结构这几个流程，就可以如愿以偿地实现将我们的数据持久化于PostgreSQL数据库中。于是我们不得不好奇，这些数据最终落盘于磁盘上的哪个位置？又是以什么样的形式存储？存储的格式又是什么？ 在这几个疑问的驱动下，本文将通过源码结合数据入库实践操作的方式，来详细地对PostgreSQL底层数据的存储方式进行详细的解读。

    PostgreSQL中的每个表（TABLE）都将由一个或多个堆文件表示。默认情况下，表的每个1GB块（Block）存储在一个单独的（堆）文件中。当该表文件已经达到1GB之后，用户再次插入数据时，postgres会重新创建一个新的堆文件，新文件名格式是：表Oid +“.” + 序号id（序号id从1开始一次递增）

了解本专栏 订阅专栏 解锁全文
数据库：PostgreSQL 和 MySQL对比
IT技术分享社区
05-20 1万+
比较版本：PostgreSQL 11 VS MySQL5.7（innodb引擎） Oracle官方社区版版权情况：PostgreSQL 11（免费开源）、MySQL5.7 Oracle官...
【0000】PostgreSQL V17.4 内核源码剖析专栏（2017 ~ 2025.05.15 更新）
Postgres 数据库内核开发工程师
12-13 5323
本专栏将会持续更新，直到将PostgreSQL V13.2源码涉及的所有原理、技术剖析完成为止。每一篇文章都是经过多次的源码阅读 + 调试，得以验证之后才梳理成文章形式。最终该专栏的文章数量应该在一万篇或以下，这也是文章序号从【0000】开始的缘故。通过本专栏的学习，能够让你掌握PostgreSQL数据库中的每个技术背后，底层的实现原理。
数据库建表文件
07-03
数据库建表文件，主要是用rose生成的数据库文件，直接拉入mysql中
数据库表文件
01-02
数据库表文件~！自己学习用的
mysql 数据库文件 表文件_Mysql数据库表格文件目录
weixin_31265041的博客
02-18 373
首先，表格数据存放路径和安装路径不一定是在同一个路径下的，因为安装的时候这两个路径可以分别选择，很多用户安装的时候虽然选了路径，但是忽略了其作用。数据库安装完成后，如何查看数据表格采存放的路径呢？可以在命令行下通过以下命令查看：show variables like 'datadir'; 这个‘datadir’表示的就是数据库存放路径，在配置文件里面存在对应的参数。然后我们可以根据这个路径找到my...
PostgreSQL 核心架构学习–以内存管理为中心
weixin_42236936的博客
01-10 1688
PostgreSQL 核心架构学习–以内存管理为中心
数据库管理与表文件管理
heliuerya的博客
01-05 593
数据库管理与表文件管理
Postgresql 存储结构
陈泽钦的博客
11-21 2318
每个数据库的表数据都存储其所属的独立文件里，文件以该表的filenode号命名，为了避免有些文件系统不支持大文件，postgresql限制了表文件大小不能超过1GB，当表文件超过1GB时，会另外创建一个有尾缀的文件，relfilenode.1，relfilenode.2…存储系统是 PostgreSQL 的最底层模块，它向下通过操作系统接口访问物理数据，向上为上层模块提供存储操作的接口和函数。special space：索引访问模式相关的数据，不同的索引访问方式存放不同的数据，在普通表中为空。
图文详解 DBMS 数据库管理系统三层架构体系（三级模式）《ClickHouse 实战：企业级大数据分析引擎》...
热门推荐
AI天才研究院
12-07 1万+
引文计算机科学领域的所有问题，都可以通过添加一层中间层来解决。通过在用户和计算机中间添加一层逻辑层（概念模型层），于是就有了“数据库的三级模式”：数据库在三个级别 (层次)上进行抽象，使用...
Mysql 的索引底层原理及数据结构详解
shabulaji_123的博客
01-31 1567
Mysql 的索引底层原理 1.什么是索引？ 索引是一种排好序的数据结构，mysql目前默认使用的是b+树。 2.为什么使用b+树？ 例如表table 数据 id name 1 zs 2 ls 3 sa 4 zl 5 wmz 6 zs 7 sd 这这个表里，没有加索引，要查询id= 6的数据，至少要查询6次，才能找到想要的那条数据 select * from table where i...
2.数据表文件.zip
01-31
配套的sql文件，注意按顺序上传。
数据库表、文件与文件组
06-05
这是一个关于过于文件组的概念等，是一个关于文件和文件组的东东
数据库表结构文档自动生成工具
10-16
数据库表结构文档自动生成工具; 1.增加了对excel文件的支持，可以同时生成word 和excel文件 2.运行方式DocMain.java ExcelMain.java 3.生成excel文件的模板需要特别注意：xls模板中行数必须足够大，eg.ss:ExpandedRowCount="24000",否则生成的文件打开不了
PostgreSQL数据库内部原理剖析 PDF
09-29
包含以下书籍或文章： A Tour of PostgreSQL Internals.pdf Inside the PostgreSQL Query Optimizer.pdf Inside the PostgreSQL Shared Buffer Cache.pdf Internals Of PostgreSQL Wal.pdf PostgreSQL Internals Through Pictures.pdf PostgreSQL query planner's internals How I Learned to Stop Worrying and Love the Planner.pdf PostgreSQL_Internals_1_for_PostgreSQL96_en_20170211-1.pdf Prestogres_Hacking_PostgreSQL_Internals_to_Solve_Data_Access_-_Sadayuki_Furuhashi.pdf Relational DBMS Internals.pdf The History of PostgreSQL Open Source Development.pdf THE IMPLEMENTATION OF POSTGRES.pdf
MySQL数据库的表文件_mysql-3数据库、数据表、sql文件
weixin_42357837的博客
01-25 680
数据库创建数据库： create database 数据库名；删除数据库： drop database 数据库名；使用/选择数据库： use 数据库名；数据表创建数据表： create table 数据表名(表头 数据类型)​ engine=innodb default cha...
mysql 数据表文件_MySQL数据表类型及文件结构
weixin_29122445的博客
02-03 813
MySQL数据表支持六种类型 ，分别是：BDB、HEAP、ISAM、MERGE、MYISAM、InnoBDB，这六种又分为两类，单独一类是BDB，称为"事务安全型"(transaction-safe)，其余都属于第二类，称为“非事务安全型"(non-transaction-safe)。下面详细介绍这些表:事务安全型BDB 全称是"Brekeley DB",它是Mysql具有事务能力的表的类型，由S...
POSTGRESQL 底层存储原理探索
sql server的专栏
01-19 4152
要想使用一种数据库，一般有两种方法，不懂先从底层的知识来，通过以前学到的数据库的知识对比，新数据库的底层知识，快速了解这种数据库，另外是从操作入手，不管底层知识，直接操作，从操作中体会新...
文件存储和删除的底层过程
MyySophia的博客
07-30 1012
本文转载自：https://www.cnblogs.com/f-ck-need-u/p/8659301.html。仅限于学习交流，侵权必删。 当a.txt文件要存储到/tmp下时： (1).首先从inode table中找一个空闲的inode号分配给a.txt，例如2222。再将inode map(imap)中2222这个inode号标记为已使用。 (2).在/tmp的data block中添加一条a.txt文件的记录。该记录中包括一个指向inode号的指针，例如"0x2222"。 (3..
磁盘存储文件的底层设计探究
challenglistic的博客
04-12 508
磁盘存储文件的原理
PageHeaderData结构体如何拿到HeapTupleData结构体
最新发布
03-19
<think>好的，我现在需要回答用户关于如何在PostgreSQL中从PageHeaderData结构体访问HeapTupleData的问题。首先，我应该回忆一下PostgreSQL中页和元组的组织方式。根据用户提供的引用内容，页在内存中通常由指针和一些宏定义来管理，而元组则以HeapTupleData结构体的形式存在，包含长度、指针等信息。 接下来，我需要了解PageHeaderData的结构。PageHeaderData位于每个页的起始位置，保存了页的元数据，比如空闲空间的起始位置、特殊空间等。每个页的大小通常是8KB，页内的元组按照顺序存储，页头之后是行指针数组（LinePointer），每个行指针指向页内的一个元组。 访问HeapTupleData的具体步骤可能包括以下几个部分：首先，获取页头的信息，然后通过行指针数组找到具体的元组位置。行指针中的偏移量可以定位到元组的实际存储位置，进而将这部分内存转换为HeapTupleData结构体。需要注意对齐和有效性检查，比如检查行指针是否被使用，以及元组是否有效。 用户提到的引用中提到，元组在内存中的表示是HeapTupleData结构体，其中包含t_data指向HeapTupleHeaderData。因此，访问过程可能需要使用PostgreSQL提供的宏，比如PageGetItemId来获取行指针，然后用PageGetItem来获取元组的数据指针，再将其转换为HeapTupleData结构体。 可能还需要考虑版本差异，不同PostgreSQL版本中结构体或宏定义是否有变化。此外，处理页和元组时需要注意并发控制，比如是否有锁机制确保访问的安全性。最后，应该验证这些步骤的正确性，确保通过行指针正确获取元组数据，并正确初始化HeapTupleData结构体中的各个字段。</think>在PostgreSQL中，从`PageHeaderData`访问`HeapTupleData`需通过页的行指针（Line Pointer）和内存操作实现。具体步骤如下： --- ### 1. **页结构解析** 每个数据页（8KB）的起始位置是`PageHeaderData`结构体，包含以下关键字段： - `pd_lower`：空闲空间起始偏移量 - `pd_upper`：空闲空间结束偏移量 - `pd_special`：特殊用途空间的偏移量 行指针数组位于`PageHeaderData`之后，每个行指针（`ItemIdData`）占4字节，包含： - 元组在页内的偏移量（lp_off） - 元组长度（lp_len） - 状态标志（lp_flags，如未使用、正常、重定向等） --- ### 2. **访问HeapTupleData的步骤** #### **步骤1：获取行指针** 通过宏`PageGetItemId(page, offset)`获取行指针： ```c ItemId lp = PageGetItemId(page, offset); // offset为行指针索引（从1开始） ``` 需检查`lp_flags`是否为`LP_NORMAL`，表示该行指针指向有效元组[^2]。 #### **步骤2：获取元组数据指针** 通过宏`PageGetItem(page, lp)`获取元组数据的内存地址： ```c HeapTupleHeader tuple_header = (HeapTupleHeader) PageGetItem(page, lp); ``` #### **步骤3：构建HeapTupleData结构体** 将元组数据封装为`HeapTupleData`： ```c HeapTupleData tuple; tuple.t_len = ItemIdGetLength(lp); // 从行指针获取元组长度 tuple.t_self = *((ItemPointer)&lp->lp_off); // 元组物理地址（页号+偏移量） tuple.t_tableOid = table_oid; // 手动传入表OID tuple.t_data = tuple_header; // 指向元组头部的指针 ``` --- ### 3. **关键代码示例 ```c // 获取页头 PageHeader phdr = (PageHeader) page_ptr; // 遍历所有行指针 for (int i = 0; i < phdr->pd_lower/sizeof(ItemIdData); i++) { ItemId lp = PageGetItemId(page_ptr, i); if (ItemIdIsUsed(lp) && ItemIdHasStorage(lp)) { HeapTupleHeader header = (HeapTupleHeader) PageGetItem(page_ptr, lp); HeapTupleData tuple = { .t_len = ItemIdGetLength(lp), .t_self = { .ip_blkid = { .bi_hi = 0, .bi_lo = page_num }, .ip_posid = i+1 }, .t_tableOid = RelationGetRelid(relation), .t_data = header }; // 处理元组... } } ``` --- ### 4. **注意事项** - **对齐要求**：元组数据需按`MAXIMUM_ALIGNOF`对齐，通过`MAXALIGN(lp_off)`计算实际偏移。 - **事务可见性**：需检查`t_data->t_infomask`判断元组对当前事务是否可见。 - **并发控制**：访问页时需持有缓冲区的`BUFFER_LOCK_SHARE`锁以防止数据修改。 ---
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

内核之道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值