Postgres中FSM及VM文件说明

最新推荐文章于 2025-03-10 09:33:49 发布
最新推荐文章于 2025-03-10 09:33:49 发布
阅读量4.3k 收藏 4
点赞数 2
CC 4.0 BY-SA版权
分类专栏： Highgo DB PostgreSQL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lk_db/article/details/77986449
本文介绍了PostgreSQL中用于记录空闲空间的FSM文件及其作用，并详细解释了可见性映射表（VM文件）如何提高VACUUM命令的效率。还对比了LazyVACUUM和FullVACUUM两种清理方式。
PostgreSQL使用一个名为FSM的文件记录每个数据块的空闲空间。FSM的英文是Free Space Map

FSM文件并不是在闯进表文件时就立马创建的，而是等到需要时才会创建，也就是执行VACUUM操作时，或者是为了插入行而第一次查询FSM文件时才创建。

PG中更新、删除某行后，该行并不会马上从数据块中清除掉，而是需要等执行VACUUM命令时再清理。
为了能加快VACUUM清理的速度和降低对系统IO性能的影响，PG8.4.1版本之后，为每个数据文件加了一个后缀为“_vm”的文件，这个文件被成为可见性映射表文件，简称VM文件。
VM文件中为每个数据块设置了一个标志位，用来标记数据块中是否存在需要清理的行。有了这个文件后，通过VACUUM命令扫描这个 文件时，如果发现VM文件中这个数据块上的位表示该数据块没有需要清理的行，
则会跳过对这个数据块的扫描，从而加快VACUUM清理的速度。

VACUUM清理数据有两种方式。一种称为“Lazy VACUUM”,另一种称为“Full VACUUM”.
VM文件健在“Lazy VACUUM”中使用到，“Full VACUUM”操作则需要对整个数据文件进行扫描。
【0222】Postgres内核 smgr 设计机制，及 SMgrRelation、SMgrRelationData 的作用（1）
Postgres 数据库内核开发工程师
09-22 458
在一文的“”章节中，详细讲解了PG内核中VFD（虚拟文件描述符）的实现原理。本文开始，将来讲解PG内核中另外一个非常重要的知识点，即PG内核的存储管理器 ----- 磁盘介质管理器（SMGR）。这也是PG内核中非常非常重要的一个知识点。一文曾详细分析过，PG数据库中的关系表是以文件的形式存储于PGDATA目录下，表文件默认大小是1GB，当表文件大小超过1GB后，会被切割成多个大小1GB的文件。存储管理器SMGR能够实现了什么功能？学完SMGR章节的内容后，对理解PG内核有和帮助？
【0428】insert into内核实现之 read FSM page （2 - 1）
最新发布
Postgres 数据库内核开发工程师
09-02 386
根据 FSMAddress addr 读取一个空闲空间映射页（FSM page）。若目标页不存在则返回InvalidBuffer；当’extend’标志位为真时，将执行FSM文件扩展操作（通过追加新的物理存储块实现）。
PostgreSQL 之 FSM
weixin_30478757的博客
04-11 644
介绍 由于PostgreSQL的MVCC机制，过期版本的元组（tuple）所占的物理空间被vacuum释放后需要尽可能重新利用。 因此设计了FSM（Free Space Map），为每一个堆和索引关系（哈希索引除外）都维护一个FSM文件来保持对关系中可用空间的跟踪，用于快速找到一个有足够的空闲空间用来容纳新增的数据的页，如果没有这样的页，则分配新页。 FSM文件在第一次va...
PostgreSQL FSM解析
Focus on PostgreSQL
09-17 2971
FSM（Free Space Map），即空闲空间管理，是干嘛的呢？在PostgreSQL的mvcc机制中，当数据块中进行insert、update、delete这些操作时，都会产生一个旧版本的数据，当vacuum时便会清理掉这些旧版本数据，那这样就会出现数据块中存在很多空闲的空间，如果能够将这些空间再次利用起来当然是很好的，不然新插入数据时继续分配一个新的数据块，那数据文件的膨胀速度就会非常快，...
海山数据库(He3DB)源码详解：海山PG 可见性映射表VM
Eric_yuanhui的博客
09-24 906
He3DB for PG中为了实现多版本并发控制，当事务删除或更新元组时，并非从物理上删除，而是将其标记为无效的方式进行标记删除，最终对这些无效元组的清理操作需要调用VACUUM完成。为了能够加快VACUUM查找包含无效元组的文件块的过程，在PostgreSQL8.4.1中为每个表文件定义了一个新的附属文件–可见性映射表（VM）。VM中为表的每个文件块设置了一位，用来标记该文件块是否存在无效元组。
PostgreSQL 之 FSM和VM的理解
HighGO
04-03 4547
表或索引对象被创建后，可以通过relfilenode定位到表对象的存放位置，进入对象所在路径，你会发现有后缀为“_fsm”或“_vm”命名的文件，对fsm 和 vml理解如下： 空闲空间映射(FSM) 每一个表和索引（除了哈希索引）都有一个空闲空间映射（FSM）来保持对关系中可用空间的跟踪； 它伴随着主关系数据被存储在一个独立的关系分支中，以关系的文件节点号加上一个_fsm后缀命名； 例如...
【PostgreSQL 内核探索笔记】FSM(Free Space Map) 空闲空间映射
weixin_45943953的博客
10-18 1971
简要介绍postgreSQL中FSM的内部结构和查找过程
Postgres 源码学习 3—Postgres 存储管理器
roseduan 的个人博客
05-26 608
前面一节说到，在 Postgres 的 VFD 机制之上，我们可以避开打开文件数量的系统限制，通过 VFD 可以进行打开、读写、关闭、删除文件等操作，简单来说就是 VFD 为我们提供了一个抽象，屏蔽了操作系统文件描述符的接口，后续我们对文件的 open、close，以及 CRUD 操作都在 VFD 的基础之上。注意这里写入之后，并不会等待操作系统刷盘之后再返回，而是直接返回，将刷盘的请求交给了 checkpointer 进程，由此来提高数据写入的效率，而数据的崩溃恢复、一致性，是通过 WAL 来保证的。
【数据库学习】Postgres(PG)原理及底层实现
午后阳光
03-23 8643
事务（transaction）：是用户定义的一组数据库操作，要么全做要么全不做，失败即回滚。保存点（savePoint）在一个大的事务中，可以把操作过程分成几个部分，第一个部分执行成功后可以建一个保存点，若后面的部分执行失败，则回滚到此保存点，而不必回滚整个事务。事务的实现即：RDBMS采取何种技术确保事务的ACID特性？回退（rollback）：撤销sql执行过程。事务管理可以管理insert、update、delete语句；不能回退create、drop操作。
PostgreSQL 文件目录的文件与 FSM and VM 基础知识
sql server的专栏
04-15 1196
学习的过程中，高大上的学，基础的也要会，POSTGRESQL 学习过程中发现不捋一捋基础的知识，让基础更夯实，则楼搭的不踏实稍微一个问题，可能就要翻车。版本PG 111 在数据目录中的目...
PostgreSQL 空闲空间映射表(FSM)
冯岳松的博客
08-01 442
当我们需要插入新的元组时，需要优先将元组放到已有页内的空闲空间内，以节约存储空间。但我们怎么知道哪个页中有空闲空间、空闲空间的大小是否足够存放新的元组呢？如果没有其他任何技术，则需要遍历页、直到找到足够的空闲空间用于插入新元组，这样开销将会非常大。为了解决这个问题，PostgreSQL使用了空闲空间映射表（FSM）来记录所有表文件的空闲空间信息。为了更快的查找，FSM文件也不是使用数组存储每个页的空闲空间，而是使用了一个三层树结构。第0层和第1层是辅助层，第2层用于实际存放各表页中的空闲空间字节位。...
postgresql什么是FSM
HighGO
03-12 1132
postgresql什么是FSM？FSM，全称Free Space Map，空闲空间映射。作用：FSM管理的是relation对应的所有的Block，它记载着数据文件中每个数据块的可用空间的大小。老版本中fsm是记录在共享缓冲区中，有两个与FSM相关的两个参数：max_fsm_relations (integer)max_fsm_pages (integer)PostgreSQL8.4版本后，这两...
postgresql源码分析-fsm
一个追逐梦想的码农
08-13 1112
postgresql fsm 空闲空间映射 空闲空间管理
postgresql源码学习（61）—— FSM的作用与原理
Hehuyi_In的博客
03-10 2452
FSM的空间管理中，没有细粒度到数据页的每个比特，而是将最小单元定义为页大小（BLCKSZ）的256分之一，也就是说，在默认8KB数据页的大小下，从FSM的角度观察，它有256个单元。堆中的每个叶子节点都对应一个数据页，叶子节点上记录的是数据页的可用单元的个数，例如，上图中P1中当前包含了6个空闲单元。每个非叶子节点上的记录的则是它的子节点中较大的可用数目。这样一个大根堆的结构，在实际存储的时候是以以为数组的形式保存的，利用完全二叉树中父子节点的关系来进行堆节点的访问。常用的两个操作：查找和更新。
postgres 源码解析46 可见性映射表VM
Serendipity_Shy
12-22 1890
postgres 源码解析46 可见性映射表VM
从PostgreSQL的FSM管理策略来考思考BitMap为什么可以节省空间？
MyySophia的博客
11-16 398
在GP中有一个BitMap索引，当所扫描到的index比较大时，就可能走bitmap索引。 那位为什么要选择图索引？为什么bitmap可以节省空间？ bitmap就是用一个bit位来标记某个元素对应的value，而key即是该元素，由于 BitMap使用了bit位来存储数据，因此可以大大节省存储空间。 基本原理： 比如0-7内有5个元素（7,2,3,5,1）。假如需要对其...
PostgreSQL的FSM分析记录
weixin_34110749的博客
11-15 463
2019独角兽企业重金招聘Python工程师标准>>> ...
postgresql FSM页面怎么组织
sekaii的专栏
02-18 501
PostgreSQL 的空闲空间映射（Free Space Map，FSM）是用于跟踪堆和索引关系中可用空间的数据结构。FSM 的设计目标是快速定位到有足够空间容纳新元组的页面，或者决定是否需要扩展新的页面。
PostgreSQL可见性映射表(VM)和VACUUM操作
冯岳松的博客
08-01 826
VM文件仅在快速清理中被用到，对于FULLVACUUM，由于要执行跨页清理等复杂操作，还是需要扫描整个表文件，此时VM作用不大。当前VM文件是一个提示（hint）来加快VACUUM的速度，即使损坏了VM文件，仅仅会导致VACUUM忽略那些需要清理的页面，但元组的可见性依然不变，所以对数据不会产生任何影响。当页中所有的元组对于当前事务都是可见的，VM中对应的位为1，表示没有无效元组。当页在VM中对应的标志为是1时，VACUUM会忽略对应的页，大大提高VACUUM的效率。每个VM文件的页中，可用的字节为。...
postgres 不在 sudoers 文件中 此事将被报告
08-27
<think>我们正在处理用户的问题：“postgres 用户不在 sudoers 文件中，如何解决此权限问题” 根据引用内容，我们知道当普通用户尝试使用sudo命令时，如果该用户不在sudoers文件中，就会提示“用户不在sudoers文件中，此事将被报告”。 因此，我们需要将postgres用户添加到sudoers文件中。具体步骤如下： 步骤1：以root用户身份登录或切换到root用户（因为只有root用户才有权限修改sudoers文件） 在终端中输入：`su -` 然后输入root密码，或者如果当前用户有sudo权限，可以使用`sudo su -`（但当前用户是postgres且没有sudo权限，所以我们需要通过其他方式切换到root，比如直接以root登录） 步骤2：检查/etc/sudoers文件的权限，并确保root有写权限（通常默认是只读的） 使用命令：`ls -l /etc/sudoers` 查看权限。正常情况下，该文件权限为440（即-r--r-----），所以我们需要临时添加写权限。 步骤3：给root用户添加对/etc/sudoers文件的写权限 使用命令：`chmod u+w /etc/sudoers` 步骤4：编辑/etc/sudoers文件 使用文本编辑器（如vi）打开文件：`vi /etc/sudoers` 步骤5：在文件中找到类似下面的行（通常是在“User privilege specification”部分） root ALL=(ALL:ALL) ALL 在下面添加一行： postgres ALL=(ALL:ALL) ALL 如果希望postgres用户在使用sudo时不需要输入密码，可以改为： postgres ALL=(ALL) NOPASSWD:ALL 步骤6：保存并退出编辑器（在vi中，按ESC，然后输入:wq） 步骤7：恢复/etc/sudoers文件的权限为440（即移除写权限） 使用命令：`chmod u-w /etc/sudoers` 步骤8：验证修改是否成功 可以切换到postgres用户（`su - postgres`），然后尝试执行一个需要sudo的命令，例如：`sudo ls /root` 注意：在修改sudoers文件时，一定要小心，因为错误的配置可能导致系统管理权限问题。建议使用visudo命令来编辑，因为visudo会在保存时检查语法，避免错误配置。但是，由于当前我们是以root身份操作，并且已经修改了文件权限，所以也可以直接使用vi。不过，更安全的方式是使用visudo，它会自动进行语法检查。 因此，我们可以用以下更安全的方式（无需修改文件权限）： 1. 切换到root用户：`su -` 2. 运行：`visudo` 3. 在文件中添加：`postgres ALL=(ALL:ALL) ALL` 或 `postgres ALL=(ALL) NOPASSWD:ALL` 4. 保存退出（如果visudo检测到语法错误，它会提示，这时可以选择修复或者取消保存） 这样，postgres用户就可以使用sudo命令了。 根据引用[3]中的步骤，我们也可以采用类似的方法。 但是，请注意：用户是postgres，这是一个数据库相关的系统用户，通常不建议给这类用户赋予sudo权限，除非有特殊需求。在赋予权限前，请考虑安全性。 如果用户确实需要让postgres用户执行某些特定的命令，而不是所有命令，那么可以限制sudo的权限。例如，只允许postgres用户执行某个命令： postgres ALL=(ALL) NOPASSWD: /path/to/command 不过，用户的问题中没有具体说明需要执行什么命令，所以我们按照通用的方法给出解决方案。 总结：将postgres用户添加到sudoers文件中，并赋予相应的权限。 现在，我们按照要求生成相关问题。</think>### 解决 postgres 用户不在 sudoers 文件中的权限问题 当 postgres 用户尝试使用 `sudo` 命令时出现 **"postgres 不在 sudoers 文件中，此事将被报告"** 的提示，说明该用户未被授权使用 sudo 权限。以下是详细解决方案： --- #### 解决步骤： 1. **切换到 root 用户** 使用有权限的账户登录，执行： ```bash su - root ``` 输入 root 密码后进入超级用户模式。 2. **修改 sudoers 文件权限** ```bash chmod u+w /etc/sudoers # 添加写入权限 ``` 3. **编辑 sudoers 文件** 使用文本编辑器（如 `vi` 或 `nano`）打开文件： ```bash vi /etc/sudoers ``` - 找到 `root ALL=(ALL) ALL` 行 - 在下方添加（按 `i` 进入编辑模式）： ```bash postgres ALL=(ALL) ALL # 允许 postgres 执行所有命令 ``` 或免密码模式（谨慎使用）： ```bash postgres ALL=(ALL) NOPASSWD:ALL ``` 4. **保存并恢复权限** - 按 `Esc` → 输入 `:wq` 保存退出 - 恢复文件只读权限： ```bash chmod u-w /etc/sudoers # 移除写入权限 ``` 5. **验证结果** 切换回 postgres 用户测试： ```bash su - postgres sudo -l # 查看授权列表 ``` --- #### 安全建议： - **最小权限原则**：建议限制 postgres 的 sudo 权限，例如仅允许操作数据库相关命令： ```bash postgres ALL=(ALL) /usr/bin/systemctl restart postgresql, /usr/bin/pg_dump ``` - **优先使用专用命令**： 若只需管理 PostgreSQL 服务，可直接用 `pg_ctl` 替代 sudo： ```bash pg_ctl restart -D /var/lib/postgresql/data ``` > 引用说明：此解决方案基于 Linux 权限管理机制，当用户未被添加到 `/etc/sudoers` 时，系统会拒绝 sudo 请求并提示权限错误[^1][^2][^3]。 --- ### 相关问题 1. 如何限制特定用户只能执行某些 sudo 命令？ 2. 免密码使用 sudo 有哪些安全风险？ 3. PostgreSQL 服务管理有哪些非 sudo 替代方案？ 4. 如何恢复误编辑的 sudoers 文件？
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值