postgresql模块——pg_stat_statements详解和安装测试

本文详细介绍了如何使用pg_stat_statements模块监控PostgreSQL中的SQL执行情况,包括配置步骤、核心参数解析及实际应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

其实很简单,最近可能需要对postgresql进行监控,所以接触了很多相关的监控命令和工具,这边文章主要是记录下工作过程,怕之后会忘记。

 

转载注明出处:http://blog.youkuaiyun.com/lengzijian/article/details/8133471

 

我想要的功能:记录每条sql的执行时间,能够查询每天执行最慢的top10。


下面先介绍下pg_stat_statements:(翻译)

引文原文地址:http://www.postgresql.org/docs/9.0/interactive/pgstatstatements.html


pg_stat_statements模块提供了一种跟踪执行的所有SQL语句的统计信息的方法。

这个模块必须改写配置文件postgresql.conf中的shared_preload_libraries变量(之后讲解如何配置),这是因为他需要额外的共享内存。同时也意味着需要重启服务。

 

1-先看下pg_stat_statements视图

字段名

类型

引用

说明

userid

oid

pg_authid.oid

执行者id

dbid

oid

pg_database.oid

执行数据库id

query

text

 

执行的语句

calls

bigint

 

执行次数

total_time

double precision

 

执行总时间 (平均值=total_time/calls )

rows

bigint

 

影响的总行数

shared_blks_hit

bigint

 

共享块命中数量

shared_blks_read

bigint

 

共享块读数量

shared_blks_written

bigint

 

共享块写数量

local_blks_hit

bigint

 

本地块命中数量

local_blks_read

bigint

 

本地块读数量

local_blks_written

bigint

 

本地块写数量

如上视图和函数pg_stat_statements_reset只有在数据库已经正确安装,并且已经执行pg_stat_statements.sql脚本后才会生效。只要pg_stat_statements成功添加,就会跟踪服务器上所有的数据库操作。

 

处于安全的原因,普通用户不允许查看其他用户执行的语句信息(query),如果视图安装到他的数据库,那么就可以查看相关的统计信息(子健做的实验实在超级用户下:postgres用户postgres库)

 

注意,如果语句信息(query)一样,不论任何out-of-line变量的值被使用,都会认为这几条声明是相同的。使用out-of-line变量有助于组织语句并且可能回事统计数据更加有用


2­­-函数

pg_stat_statements_reset() returns void

       pg_stat_statements_reset丢弃目前由pg_stat_statements统计的所有信息,默认情况下,这个函数只能运行在超级用户下。

 

3-配置变量

pg_stat_statements.max(integer)

       pg_stat_statements.max是最大追踪的统计数据数量(即,视图中的最大行数)。如果数据量大于最大值,那么执行最少的语句将会被丢弃(本人测试,如果语句执行次数都为1时,其次是时间久的数据被丢弃),这个值默认是1000,这个变量在服务启动前设置

 

pg_stat_statements.track(enum)

        pg_stat_statements.track控制统计数据规则,top用于追踪top-level statement(直接由客户端方发送的),all还会追踪嵌套的statements(例如在函数中调用的statements)

 

pg_stat_statements.track_utility(boolen)

       pg_stat_statements.track_utility控制是否跟踪公共程序命令(utility commands),公共程序命令是SELECT/INSERT/UPDATE/DELETE以外的命令,默认值是开启,只有超级用户可以更改此设置。

 

pg_stat_statements.save(boolean)

       pg_stat_statements.save指定在服务器关闭时,是否保存统计信息。如果设置off,服务关闭时,统计信息将不会保存。默认值是on。这个值只能够在postgresql.conf中或者命令行设置。

 

该模块需要额外的共享内存,内存大小大致为pg_stat_statements.max* track_activity_query_size。要注意的是,一旦模块被加载,即使pg_stat_statements.track设置为none,共享内存都会被消耗。

 

上面的都是一些需要掌握的知识,下面开始真正配置pg_stat_statements并且运行

首先要编写postgresql.conf

#postgresql.conf

#------------------------------------------------------------------------------

# PG_STAT_STATEMENTS OPTIONS

#------------------------------------------------------------------------------

shared_preload_libraries = 'pg_stat_statements'

custom_variable_classes = 'pg_stat_statements'

pg_stat_statements.max = 1000

pg_stat_statements.track = all

4-编译安装pg_stat_statements模块

进入postgresql的源码目录:

cd /home/proxy_pg/postgresql-9.1.3/contrib/pg_stat_statements

make

make install

#如果$pgpath/share/extension目录下存在pg_stat_statements--1.0.sql,说明安装成功了

 

5-加载pg_stat_statements模块

#启动postgresql服务

bin/pg_ctl start -D stat_date/

#加载sql文件

[postgres@slave2 pgsql]$ bin/psql -f share/extension/pg_stat_statements--1.0.sql -p 5499

Use "CREATE EXTENSION pg_stat_statements" to load this file.

#进入数据库做,如下操作

[postgres@slave2 pgsql]$ bin/psql -p 5499

psql (9.1.3)

Type "help" for help.

 

postgres=# create extension pg_stat_statements;         #创建pg_stat_statements

CREATE EXTENSION

postgres=# SELECT pg_stat_statements_reset();          #清空pg_stat_statements(可以不做)

 pg_stat_statements_reset

--------------------------

 

(1 row)

#我们手动插入10条数据:(这里是自己写的脚本,可以通过http://blog.youkuaiyun.com/lengzijian/article/details/7729465下载)

./a.out 1 10

#执行如下命令

SELECT query, calls, total_time, rows, 100.0 * shared_blks_hit /nullif(shared_blks_hit + shared_blks_read, 0) AS hit_percent FROM pg_stat_statements ORDER BY total_time DESC LIMIT 5;


#可以看到最耗时的5条数据,最后一列表示命中率

 

虽然成功了,但这也是监控系统中很小的一部分,接下来我的挑战是把各种监控系统融合在意思,做出可视化界面,使监控更友好。

<think>我们正在讨论的是KingbaseES(兼容PostgreSQL)中的`sys_stat_all_tables`视图。这个视图用于监控数据库中所有表的统计信息,包括访问情况I/O情况。根据引用[3]的内容,我们得知该视图包含以下字段:表OID、模式名、表名、磁盘块读取总数、缓冲区命中次数等。此外,引用[1]提到`pg_stat_all_indexes`等视图,但我们现在关注的是表级别的统计。 下面我将详细解释`sys_stat_all_tables`视图的功能及其所有字段的含义。 ### 功能概述 `sys_stat_all_tables`视图提供当前数据库中每个表(包括TOAST表)的统计信息,主要用于监控表的访问性能I/O性能。这些统计信息可以帮助DBA进行性能调优,例如识别哪些表被频繁访问、哪些表可能存在I/O瓶颈等。 ### 字段详解 以下是`sys_stat_all_tables`视图的字段及其含义(基于KingbaseES V8): | 字段名 | 类型 | 描述 | |--------|------|------| | `relid` | OID | 表的对象标识符(OID) | | `schemaname` | NAME | 表所在的模式名 | | `relname` | NAME | 表名 | | `seq_scan` | BIGINT | 该表上顺序扫描的次数 | | `seq_tup_read` | BIGINT | 顺序扫描读取的行数(元组数) | | `idx_scan` | BIGINT | 该表上索引扫描的次数(所有索引扫描的总) | | `idx_tup_fetch` | BIGINT | 通过索引扫描读取的行数(元组数) | | `n_tup_ins` | BIGINT | 插入的行数(元组数) | | `n_tup_upd` | BIGINT | 更新的行数(元组数) | | `n_tup_del` | BIGINT | 删除的行数(元组数) | | `n_tup_hot_upd` | BIGINT | 使用HOT(Heap-Only Tuple)机制更新的行数(元组数) | | `n_live_tup` | BIGINT | 当前表中存活的行数(元组数) | | `n_dead_tup` | BIGINT | 当前表中死行(待清理)的元组数 | | `n_mod_since_analyze` | BIGINT | 自上次ANALYZE以来被修改的行数(元组数) | | `last_vacuum` | TIMESTAMPTZ | 最后一次手动执行VACUUM的时间(不包括自动清理) | | `last_autovacuum` | TIMESTAMPTZ | 最后一次自动清理执行VACUUM的时间 | | `last_analyze` | TIMESTAMPTZ | 最后一次手动执行ANALYZE的时间 | | `last_autoanalyze` | TIMESTAMPTZ | 最后一次自动清理执行ANALYZE的时间 | | `vacuum_count` | BIGINT | 手动执行VACUUM的次数 | | `autovacuum_count` | BIGINT | 自动清理执行VACUUM的次数 | | `analyze_count` | BIGINT | 手动执行ANALYZE的次数 | | `autoanalyze_count` | BIGINT | 自动清理执行ANALYZE的次数 | | `heap_blks_read` | BIGINT | 从磁盘读取的堆数据块数(I/O次数) | | `heap_blks_hit` | BIGINT | 在缓冲区中找到的堆数据块数(缓存命中次数) | | `idx_blks_read` | BIGINT | 从磁盘读取的索引块数(所有索引的I/O次数总) | | `idx_blks_hit` | BIGINT | 在缓冲区中找到的索引块数(所有索引的缓存命中总) | | `toast_blks_read` | BIGINT | 从磁盘读取的TOAST表数据块数 | | `toast_blks_hit` | BIGINT | 在缓冲区中找到的TOAST表数据块数 | | `tidx_blks_read` | BIGINT | 从磁盘读取的TOAST表索引块数 | | `tidx_blks_hit` | BIGINT | 在缓冲区中找到的TOAST表索引块数 | ### 关键字段说明 1. **I/O统计相关字段**(引用[3]): - `heap_blks_read` `heap_blks_hit`:分别表示从磁盘读取的堆数据块数在缓冲区中命中的堆数据块数。这些数据可用于计算堆的缓存命中率: $$ \text{堆缓存命中率} = \frac{\text{heap\_blks\_hit}}{\text{heap\_blks\_hit} + \text{heap\_blks\_read}} \times 100\% $$ - 类似地,`idx_blks_read` `idx_blks_hit` 用于计算索引的缓存命中率。 2. **TOAST表相关字段**: - TOAST(The Oversized-Attribute Storage Technique)表用于存储大对象(如大文本、大二进制数据)。因此,`toast_blks_*` `tidx_blks_*` 字段分别记录TOAST表及其索引的I/O情况。 3. **扫描与元组操作字段**: - `seq_scan` `seq_tup_read`:顺序扫描次数读取的行数。高顺序扫描可能表明索引缺失。 - `idx_scan` `idx_tup_fetch`:索引扫描次数通过索引获取的行数。这些值高通常表示索引被有效利用。 - `n_tup_ins`、`n_tup_upd`、`n_tup_del`:分别记录插入、更新、删除的行数。这些信息有助于了解表的写负载。 4. **元组状态字段**: - `n_live_tup` `n_dead_tup`:分别表示当前存活元组数死元组数。死元组过多可能导致表膨胀,需要及时清理(VACUUM)。 - `n_tup_hot_upd`:使用HOT机制更新的行数。HOT机制可以避免索引更新,提高更新性能。 5. **维护操作时间与次数**: - `last_vacuum`、`last_autovacuum`、`last_analyze`、`last_autoanalyze`:记录最后一次手动或自动执行VACUUMANALYZE的时间。 - `vacuum_count`、`autovacuum_count`、`analyze_count`、`autoanalyze_count`:记录手动或自动执行VACUUMANALYZE的次数。 ### 应用示例 1. **查看表的缓存命中率**: ```sql SELECT schemaname, relname, heap_blks_hit + heap_blks_read AS heap_total, heap_blks_hit, heap_blks_read, (heap_blks_hit * 100.0 / (heap_blks_hit + heap_blks_read + 1)) AS heap_hit_rate FROM sys_stat_all_tables WHERE relname = 'your_table'; ``` 2. **识别需要清理的表(死元组过多)**: ```sql SELECT schemaname, relname, n_live_tup, n_dead_tup FROM sys_stat_all_tables WHERE n_dead_tup > 1000 AND n_dead_tup > n_live_tup * 0.1; -- 死元组超过1000且超过存活元组的10% ``` 3. **监控表的写负载**: ```sql SELECT schemaname, relname, n_tup_ins, n_tup_upd, n_tup_del FROM sys_stat_all_tables ORDER BY (n_tup_ins + n_tup_upd + n_tup_del) DESC LIMIT 10; ``` ### 注意事项 - 统计信息在系统启动时重置,可以通过`sys_stat_reset()`函数重置单个表的统计信息。 - 需要`SYSMONITOR`或`SYSADMIN`权限才能查询此视图[^1]。 - TOAST表的相关字段仅在存在TOAST表时才有值。 ### 引用说明 [^1]: 参考了`pg_stat_user_indexes`的查询方式,但权限要求类似。 [^3]: 参考了`sys_statio_all_tables`的I/O统计字段描述。 §§相关问题§§ 1. 如何重置`sys_stat_all_tables`中的统计信息? 2. `sys_stat_all_tables`与`sys_statio_all_tables`视图有何区别? 3. 如何通过`sys_stat_all_tables`视图优化查询性能?</think>### 详细解释 `sys_stat_all_tables` 视图及其字段含义 `sys_stat_all_tables` 是 KingbaseES(兼容 PostgreSQL)中用于**监控表级访问统计 I/O 性能**的关键系统视图。它提供当前数据库中所有表(包括 TOAST 表)的详细性能指标,帮助 DBA 进行 SQL 优化资源分析。以下是完整字段说明(基于 KingbaseES V8): --- #### 核心功能 1. **表访问统计**:记录表扫描次数、读写操作量等 2. **I/O 性能监控**:跟踪磁盘块读取缓冲区命中情况 3. **维护操作记录**:记录 VACUUM/ANALYZE 的执行时间次数 4. **元组状态跟踪**:实时监控存活/死亡元组数量 --- #### 字段详解(按功能分组) ##### 一、基础标识字段 | 字段名 | 类型 | 描述 | |--------|------|------| | `relid` | OID | **表的对象标识符**(唯一ID) | | `schemaname` | NAME | **表所属的模式名**(如public) | | `relname` | NAME | **表名** | ##### 二、扫描统计字段 | 字段名 | 类型 | 描述 | |--------|------|------| | `seq_scan` | BIGINT | **顺序扫描次数**(全表扫描) | | `seq_tup_read` | BIGINT | **顺序扫描读取的行数**(元组数) | | `idx_scan` | BIGINT | **索引扫描次数**(所有索引的总)[^1] | | `idx_tup_fetch` | BIGINT | **通过索引获取的行数** | ##### 三、DML 操作统计 | 字段名 | 类型 | 描述 | |--------|------|------| | `n_tup_ins` | BIGINT | **插入的行数** | | `n_tup_upd` | BIGINT | **更新的行数** | | `n_tup_del` | BIGINT | **删除的行数** | | `n_tup_hot_upd` | BIGINT | **HOT(Heap-Only Tuple)更新行数**(避免索引更新的优化操作) | ##### 四、元组状态监控 | 字段名 | 类型 | 描述 | |--------|------|------| | `n_live_tup` | BIGINT | **当前存活元组数**(有效数据) | | `n_dead_tup` | BIGINT | **当前死亡元组数**(待VACUUM清理) | | `n_mod_since_analyze` | BIGINT | **上次ANALYZE后的修改行数** | ##### 五、维护操作记录 | 字段名 | 类型 | 描述 | |--------|------|------| | `last_vacuum` | TIMESTAMPTZ | **最后一次手动VACUUM时间** | | `last_autovacuum` | TIMESTAMPTZ | **最后一次自动VACUUM时间** | | `last_analyze` | TIMESTAMPTZ | **最后一次手动ANALYZE时间** | | `last_autoanalyze` | TIMESTAMPTZ | **最后一次自动ANALYZE时间** | | `vacuum_count` | BIGINT | **手动VACUUM执行次数** | | `autovacuum_count` | BIGINT | **自动VACUUM执行次数** | | `analyze_count` | BIGINT | **手动ANALYZE执行次数** | | `autoanalyze_count` | BIGINT | **自动ANALYZE执行次数** | ##### 六、I/O 性能指标(关键优化依据)[^3] | 字段名 | 类型 | 描述 | |--------|------|------| | `heap_blks_read` | BIGINT | **堆表磁盘块读取次数**(物理I/O) | | `heap_blks_hit` | BIGINT | **堆表缓冲区命中次数**(内存读取) | | `idx_blks_read` | BIGINT | **索引磁盘块读取次数** | | `idx_blks_hit` | BIGINT | **索引缓冲区命中次数** | | `toast_blks_read` | BIGINT | **TOAST表磁盘块读取次数** | | `toast_blks_hit` | BIGINT | **TOAST表缓冲区命中次数** | | `tidx_blks_read` | BIGINT | **TOAST索引磁盘块读取次数** | | `tidx_blks_hit` | BIGINT | **TOAST索引缓冲区命中次数** | --- #### 关键计算指标 1. **缓冲区命中率**(衡量内存效率): $$ \text{命中率} = \frac{\text{heap\_blks\_hit}}{\text{heap\_blks\_hit} + \text{heap\_blks\_read}} \times 100\% $$ 值 > 95% 表示良好,< 80% 需优化 2. **索引有效性**: ```sql -- 索引使用率低的表 SELECT schemaname, relname FROM sys_stat_all_tables WHERE idx_scan::float / (seq_scan + idx_scan + 1) < 0.1; ``` --- #### 应用场景示例 ##### 1. 识别全表扫描严重的表 ```sql SELECT schemaname, relname, seq_scan, seq_tup_read FROM sys_stat_all_tables ORDER BY seq_tup_read DESC LIMIT 10; ``` ##### 2. 监控死亡元组比例(判断VACUUM需求) ```sql SELECT relname, n_live_tup, n_dead_tup, round(n_dead_tup::numeric / (n_live_tup + 1), 2) AS dead_ratio FROM sys_stat_all_tables WHERE n_dead_tup > 1000 ORDER BY dead_ratio DESC; ``` ##### 3. 分析 I/O 瓶颈 ```sql SELECT relname, heap_blks_read, heap_blks_hit, (heap_blks_hit * 100.0 / (heap_blks_hit + heap_blks_read)) AS hit_rate FROM sys_stat_all_tables WHERE heap_blks_read > 10000; ``` --- #### 注意事项 1. **统计重置**: 重启数据库或执行 `SELECT sys_stat_reset()` 会清零计数 2. **TOAST 表关联**: 大对象字段(如TEXT)会存储在TOAST表,需关联分析[^3] 3. **权限要求**: 需要 `SYSMONITOR` 权限访问完整数据 4. **性能影响**: 持续监控对性能影响 < 1%,可安全启用 > 提示:结合 `sys_stat_statements` 可关联SQL语句与表访问统计,实现精准优化[^1]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值