PGSQL数据膨胀问题排查

最新推荐文章于 2025-05-02 15:44:36 发布

原创

最新推荐文章于 2025-05-02 15:44:36 发布 · 1k 阅读

30 ·

CC 4.0 BY-SA版权

文章标签：

#PostgreSql

背景

不知道从何时开始，数据库空载时的性能消耗越来越高，当业务高峰期，CPU 和内存都处于高负载的情况下，观看 AWS 的监控，发现负载空载时占用很高。

并且占用较高的 Top5 分为为：

autovacuum: VACUUM ANALYZE pg_catalog.pg_attribute
autovacuum: VACUUM ANALYZE pg_catalog.pg_type
autovacuum: VACUUM ANALYZE pg_catalog.pg_depend
autovacuum: VACUUM ANALYZE pg_catalog.pg_class
autovacuum: VACUUM ANALYZE pg_catalog.pg_index

由上面的 Top5 可以得知，目前数据库的负载较高，都是由于 PgSql 系统表的 VACUUM 导致的，但是，为什么会出现这种情况呢？我们一起来慢慢解决这个问题吧！

问题排查

排查方向

VACUUM 是 PgSql 的一种垃圾回收机制，主要用于清理数据库中的不再需要的行（也称为“死亡行”或“dead tuples”），并且它回收这些行占用的空间。VACUUM操作还更新数据库的统计信息，这对于查询优化器来说非常重要。

如果 VACUUM 太慢，则有可能有以下几个原因：

大容量数据：如果数据库非常大，VACUUM操作可能需要很长时间来完成，这会增加系统负载。
高事务量：在高事务量的系统中，频繁的更新、插入和删除操作会产生许多不再需要的行，导致VACUUM工作量增加。
不频繁的清

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

booleandev

关注关注

21
点赞
踩
30

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【PostgreSQL】PostgreSQL查膨胀率、查统计信息、VACUUM full清理表

tttzzzqqq2018的博客

11-01

1012

【代码】PostgreSQL查膨胀率、查统计信息、VACUUM full清理表。

PostgreSQL - 查看表膨胀空间

qq522044637的博客

03-11

1967

PostgreSQL - 查看表膨胀空间

参与评论您还未登录，请先登录后发表或查看评论

Postgres中数据字典的用法（二）

qiaowan6397的博客

03-05

1034

4.pg_attribute postgres=# \d+ pg_attribute; 数据表 "pg_catalog.pg_attribute" 栏位 | 类型 | 可空的 | 存储 | 描述 ---------------+-----------+----------+----------+-----...

【PostgreSQL】PG数据库表“膨胀”粗浅学习

自然

10-06

2711

顾名思义，本来应该是一个大小，但是因为某种原因，它的大小变得更大了，甚至超乎想象的那么大。这就是发生了膨胀，而其中的膨胀的程度的体现，就是膨胀率。因此膨胀率可以直观的体现膨胀到底有多厉害。反观数据库的膨胀的理解，一张A表或者A表的索引正常应该是占用一个大小的空间，但是查出来实际占用超过了这个空间的大小，往往随着时间的推移可能会占用的越来越来离谱。

postgresql 表和索引的膨胀简析

一名数据库爱好者的专栏

09-19

3144

postgresql 表和索引的膨胀是非常常见的，一方面是因为 autovacuum 清理标记为 dead tuple 的速度跟不上，另一方面也可能是由于长事物，未决事物，复制槽引起的。 #初始化数据 zabbix=# create table tmp_t0(c0 varchar(100),c1 varchar(100), c2 varchar(100)); CREATE TABLE zabbix...

PG表膨胀及对策

weixin_42767321的博客

01-09

2358

PG表膨胀及对策检查表膨胀方法一查询pg_stat_all_tables系统表 SELECT schemaname||'.'||relname, n_dead_tup, n_live_tup, round(n_dead_tup * 100 / (n_live_tup + n_dead_tup),2) AS dead_tup_ratio FROM...

pgsql 批量处理数据速度很慢应该怎么排查原因？

最新发布

08-23

嗯，用户需要排查PostgreSQL批量处理数据速度慢的问题。这个问题很实际，批量处理性能优化在数据库运维中很常见。用户可能是个开发或DBA，正在处理数据迁移或ETL任务时遇到了瓶颈。从引用内容看，用户之前接触过...

PostgreSQL维护——解决索引膨胀和数据死行

meethigher的博客

09-17

1830

注意：本文内容于 2024-09-16 00:40:33 创建，可能不会在此平台上进行更新。。我有一张表，为了保障查询的快速响应，我是在必要的字段上建立了索引。该表的数量基数不变，只是每分钟会更新过来一批数据，如此运行了一年之久，目前即使走索引查询，依旧特别慢。排查主要是由两个现象导致的。这两个现象是如何出现的呢？频繁的进行insert/update/delete就会出现。

PostgreSQL WAL 文件数量长期持续增加问题排查

zhiboqingyun的博客

04-11

4900

1. 提出问题最近遇到一个自己运维 DB 的开发同学反馈："我们的业务量较小，但现在数据库积累了大量的 WAL，一个月的时间 pg_wal 目录和归档的目录均超过了80GB，且 WAL 增长的速度较快，由于虚拟机的磁盘不大，几乎把磁盘撑爆了，我应该怎么处理呢？可以先人工删一下吗？” 针对这个现象，我们需要分析如下几个问题: 几乎没有业务为什么 WAL 还会增加且增加的还很快？ WAL 会一直增加直至把磁盘撑爆吗？DBMS 有参数控制上限么? WAL 文件为什么会保留那么多, DBMS 难道不

表膨胀的查询方法

HighGO

01-04

777

目录文档用途详细信息文档用途本文旨在介绍表膨胀的查询方法。详细信息可以通过如下sql语句定位膨胀的表。 WITH constants AS( SELECT current_setting('block_size')::NUMERIC AS bs, 23 AS hdr, 4 AS ma ), bloat_info AS( SELECT ma, bs, schemaname, tablename, ( datawidth +(

PostgreSQL索引膨胀

Focus on PostgreSQL

01-13

3359

我们在使用数据库的时候经常会遇到索引膨胀的情况，一般我们都会选择去重建索引，这种情况在oracle、mysql等数据库中都经常发生，而在pg中也会有同样的问题，是什么原因导致索引膨胀呢？一般来说，通常是因为数据乱序写入导致的，我们都知道索引页中的数据是有序的，而索引字段乱序写入，会导致索引频繁分裂，使得索引页并不是百分百填满，自然出现索引膨胀的情况。在pg中的btree、gin、gist索引等...

SQL数据膨胀/造数据

a794463528的博客

11-23

261

在数据量较少的时候，可以用该方法造数据进行测试；将该表中所有的数据插入该表中，膨胀率为一倍；

pg_attribute表容量膨胀问题分析

arcticJian的博客

11-20

1767

PG数据库下表字段更新对pg_attribute表空间影响：1）TEST数据库下已有一张class表，信息如下，包含两个字段int类型的num和varchar（20）类型的name： TEST=# \d class 资料表 "public.class" 栏位 | 型别 | 修饰词 ------+---------------

pg索引膨胀问题---重建索引

sunxj1222的博客

10-22

2407

问题：发现数据库中很多表的索引大小超过数据大小。经检查，生产CA、CZ、MU、HU、PSG、RIUE库都存在这个现象。原因：据运行同事介绍索引膨胀问题无法避免，频繁更新就会带来这个问题。解决方法：对于大的索引可以采用重建的方式解决。以下两种方法推荐第一种。方法一：停止应用（这个操作会锁表），重建索引（注：重建完索引名称不变） sql：reindexindex索引名称时间...

PostgreSQL 中系统表 pg_attribute 膨胀现象

weixin_45694422的博客

07-26

849

说明 PostgreSQL 一览表 pg_attribute存储关于表列的信息，数据库中每张表中的行都会对应在该系统表 pg_attribute 中。既然存储的是数据库中表字段相关的信息，那么对表所做的修改都会通过该表记录。如创建表指定的列，修改表，修改表的数据类型等等。创建自定义函数查看某张表的信息 postgres=# CREATE OR REPLACE FUNCTION f_get_table_column_info(varchar,varchar) postgres-# RETURNS T

解决PG索引膨胀（reindex）

Captains-Felix的专栏

01-15

1515

#!/bin/bash #当表的数据小于20万则对表做 reindex table xxx操作 #否则先删除索引（唯一约束索引，及主键除则 reindx index xxx），然后再创建该索引 #zhaowenzhong 2019-04-02 date=`date +"%Y%m%d%H%M"` v_constant=200000 v_hour=0 v_param=$# if [ $v_para...

PostgreSQL 查看表膨胀情况的方法

文牧之的博客

05-02

709

表膨胀(Table Bloat)是PostgreSQL中由于MVCC机制导致的一种常见现象，当大量数据被更新或删除后，表中会积累"死元组"(dead tuples)，这些死元组占据空间但不可见，导致表实际占用的磁盘空间远大于有效数据所需空间。

PostgreSQL的索引膨胀

weixin_33858485的博客

08-19

270

磨砺技术珠矶，践行数据之道，追求卓越价值回到上一级页面：PostgreSQL内部结构与源代码研究索引页回到顶级页面：PostgreSQL索引页索引膨胀，主要是针对B-tree而言。索引膨胀的几个来源： 1 大量删除发生后，导致索引页面稀疏，降低了索引使用效率。 2 PostgresQL 9.0之前的版本，vacuum full 会同样导致索引页面稀疏。 3 长时间运行的...