如何分析PG数据库内存告警

最新推荐文章于 2024-06-02 14:04:32 发布
最新推荐文章于 2024-06-02 14:04:32 发布
阅读量839 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： 数据库
原文链接：www.linuxprobe.com
文章讨论了PG数据库内存使用问题，指出内存使用率高并不总是异常，因PG使用DOUBLEBUFFERING机制。大量内存可能在BUFFER/CACHE中。关注OS的Dirty,PageTables,AnonHugePages和SWAP使用情况对诊断内存问题至关重要。进程的USS和PSS可用于识别内存消耗高的进程，而SQL操作如VACUUM、ANALYZE、排序和表连接可能导致内存占用增加。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

导读

PG数据库遇到内存问题要立即进行分析的场景并不多，因为大多数PG数据库的内存使用率过高的报警并不意味着内存使用情况异常，内存真的不够用了。因为PG数据库是使用DOUBLE BUFFERING机制的，大量的内存很可能被BUFFER/CACHE占用了。

前几天写了CPU分析与IO分析的文章，本来昨天想再凑一个内存分析的，不过因为昨天一大早就去拜访客户了，所以今天补上。今天早上本来和优诺的傲寒约好了去他那里取取经，听听他对智能化运维的看法，不过因为一些其他安排临时取消了，十分遗憾。

PG数据库遇到内存问题要立即进行分析的场景并不多，因为大多数PG数据库的内存使用率过高的报警并不意味着内存使用情况异常，内存真的不够用了。因为PG数据库是使用DOUBLE BUFFERING机制的，大量的内存很可能被BUFFER/CACHE占用了。

上面的free命令可以看到32G内存使用了15G多，但是free只剩下599M了，BUFF/CACHE占了15G多。不过如果我们看available，有9G多，当前这个PG服务器的内存是充足的。从这个例子上看到，我们看fee命令的结果的时候，不应该看free，看available更为准确。

/proc/meminfo可以更详细的看到OS的内存情况，我们可以关注红框里的几个数字。Dirty是FILE CACHE中尚未写入磁盘的脏数据，是无法快速丢弃的内存，如果这个指标持续较高，那么说明OS的回写机制或者磁盘存在性能问题，是需要关注的。PageTalbes如果比较大，对于PG数据库来说，很可能是配置了较大的shared_buffers,但是没有启用HugePages，这样除了会影响PG数据库访问内存的性能外，还会占据大量的不必要的内存。AnonHugePages指标大于零说明没有关闭透明大页，而且已经使用了透明大页，对于PG、Oracle等数据库来说，透明大页的缺点大于优点，会引起内存碎片，建议关闭。另外需要关注的是SWAP的使用率，如果FREE内存很大，但是SWAP使用率超过20%，很可能是OS的NUMA内存方面的配置存在问题，没有全局分配内存。

遇到PG数据库的空闲内存不足的问题，首先通过这些机制分析OS内存是否真的存在风险，如果没有发现明显的风险，暂时就不需要做进一步的分析了。如果真的存在风险，我们还可以继续在OS层面查找。

ps aux –sort -rss |head -20命令可以查出rss使用最高的20个进程。然后找出存在问题的进程，用smem做进一步分析。

如果找到了存在问题的进程，可以用smem进一步去做分析。其中USS是进程私有内存，PSS是私有内存+共享内存的总和

如果在OS层面找到了存在问题的进程，那么可以使用上面的语句去查找其PG会话的信息，进一步进行定位。一般情况下，PG会话占用较多的内存可能是做VACUUM、ANALYZE、排序，表连接、内存临时表等操作。

如果不存在某个进程使用内存过多，而是大量的进程都占用差不多的内存，那么很可能是数据库并发执行某类SQL，使用了排序，表连接等临时内存分配。这时候就要去分析数据库的性能是否存在问题，导致了某类SQL或者某条SQL并发执行量较大。亦或是某条SQL的执行计划出现了错误，导致执行时间过长，并发执行量过大，占用了大量物理内存。www.linuxprobe.com

Linux资源站
关注
如何诊断并解决PostgreSQL中的磁盘空间不足问题？
发现生活，分享智慧，一起成长！
04-24 1241
同时，优化复杂的查询语句，减少不必要的数据扫描和排序操作，也可以降低磁盘I/O负载。例如，你可以删除旧的、不再需要的数据行，或者对表进行VACUUM操作以回收空间。首先，你可以清理PostgreSQL的日志文件、旧的备份文件和其他不必要的文件，以释放磁盘空间。这些查询将返回按大小排序的前10个大表和大对象，你可以根据返回的结果来确定是否需要优化或清理这些对象。接下来，你可以检查PostgreSQL数据目录的大小，以确定数据库文件是否占用了过多的磁盘空间。替换为你的PostgreSQL数据目录的实际路径。
数据库故障排查指南-内存泄漏导致数据库占用资源激增
最新发布
百态老人的博客
05-14 799
有效监控和预防内存泄漏需要结合实时监控、编码规范、工具支持以及优化策略。优化查询和代码逻辑：减少不必要的数据库操作，避免全表扫描和冗余查询。合理配置资源：调整内存参数、连接池大小等，确保资源分配合理。定期清理无用资源：删除不再需要的文件和会话，释放内存空间。使用监控工具：通过监控工具实时检测内存使用情况，及时发现并解决问题。升级版本：修复已知的内存泄漏问题。
pg和oracle查看表占用
sqlora的专栏
05-07 978
pg库查表大小： select * from (SELECT table_schema || '.' || table_name AS table_full_name, pg_total_relation_size('"' || table_schema || '"."' || table_name || '"')AS size FROM information_schema.tables ORDER BY pg_total_relation_size('"' || table_schema || '"
Postgresql踩坑-磁盘空间不足
qq_31856061的博客
02-17 6797
引入 在工作项目的服务器中，用的是postgresql数据库，一直以来并没有报过磁盘空间不足，但是今天早上回来发现ovirt管理端登录不上，排查发现pgsql服务没有了，没有人动过服务器，于是重新开启了pgsql服务，一切正常。但是为啥pgsql会自己关掉？去查看了pgsql的日志文件，发现它报了一个磁盘空间不足的错误。 相关资料 百度以下发现这问题还是有记录的 背景： 加压测试过程中发现插入数据过程中报错：could not write to hash-join temporary file: 设备上没
大数据之LibrA数据库系统告警处理（ALM-12018 内存使用率超过阈值）
weixin_42874480的博客
11-05 262
系统每30秒周期性检测内存使用率，并把实际内存使用率和阈值相比较。内存使用率默认提供一个阈值范围。当检测到内存使用率超出阈值范围时产生该告警。平滑次数为1，主机内存使用率小于或等于阈值时，告警恢复；平滑次数大于1，主机内存使用率小于或等于阈值的90%时，告警恢复。系统当前指标取值满足自定义的告警设置条件。业务进程响应缓慢或不可用。产生告警的服务名称。产生告警的角色名称。
【数据库学习】Postgres(PG)原理及底层实现
午后阳光
03-23 8296
事务（transaction）：是用户定义的一组数据库操作，要么全做要么全不做，失败即回滚。保存点（savePoint）在一个大的事务中，可以把操作过程分成几个部分，第一个部分执行成功后可以建一个保存点，若后面的部分执行失败，则回滚到此保存点，而不必回滚整个事务。事务的实现即：RDBMS采取何种技术确保事务的ACID特性？回退（rollback）：撤销sql执行过程。事务管理可以管理insert、update、delete语句；不能回退create、drop操作。
数据库性能分析工具的全面解析与应用实践
11-03
- Prometheus + Grafana：开源监控和告警系统Prometheus与可视化工具Grafana通常配合使用，前者支持MySQL性能监控，后者则提供图形和指标的可视化。 - Zabbix：一个开源监控系统，可以监控MySQL的性能和资源使用情况...
PHP数据库监控与报警：实时监测数据库健康状况，保障数据库稳定运行
数据库监控是确保数据库系统稳定运行和性能优化的关键环节。PHP作为一种广泛使用的后端语言，提供了丰富的数据库操作库，使得PHP开发者能够轻松地与数据库进行交互。PHP数据库监控是指使用PHP技术对数据库系统进行...
【prometheus+alertmanager+qq邮箱、企业微信、飞书告警管理】
qq_44637753的博客
09-06 7143
prometheus + alertmanager 告警管理
PostgreSQL的内存参数
文牧之的博客
06-02 2702
描述：决定 PostgreSQL 用于缓存表和索引数据的内存大小。通常推荐设置为系统内存的 25%-50%。示例work_mem描述：用于操作（如排序、哈希聚合、联接等）内存的大小。每个操作会单独使用这些内存，可以调多但不能过大。示例描述：用于维护操作（如VACUUM等）的内存大小。示例描述：用于每个数据库会话的临时表缓存内存大小。示例描述：允许的最大数据库连接数。需要结合参数调节。示例描述：设置 PostgreSQL 认为操作系统内核文件系统缓存及 PostgreSQL 缓存的大小。
postgresql磁盘空间清理
qq522044637的博客
10-28 5264
postgresql磁盘空间清理
openGauss 内存不足问题
2301_79720856的博客
05-13 1421
且只支持查询通过pv_session_memory_context视图查询出来的内存上下文，入参为内存上下文名称（即pv_session_memory_context返回结果的contextname列）。只支持查询通过pg_shared_memory_detail视图查询出来的内存上下文，入参为内存上下文名称（即pg_shared_memory_detail返回结果的contextname列）。（2）重启集群，如果是集群环境，需要kill om_monitor，并手动将om_monitor进程拉起。
简单聊聊PostgreSQL buffer与OS cache
Focus on PostgreSQL
07-19 5295
0、概述 缓存可以说是数据库中相当重要的一部分，很多性能相关的问题都与之息息相关。那么我们今天就聊聊在PostgreSQL中的缓存。 1、为什么需要缓存？ 在数据库中似乎我们最关心的是磁盘IO，经常会听到数据库IO存在瓶颈之类的问题。这也是为什么在数据库中我们需要缓存。 打个比方，对于计算机而言，1个CPU周期是0.3ns，如果把这个时间当成是我们平时生活中的1s。那么固态硬盘1次IO的时间大约是50-150μs，这意味着什么呢？相当于我们的2到6天。 这么一对比就可想而知，哪怕你的磁盘IO再快，相较于在内
2亿数据量PostgreSQL 10.4查询调优思路分享
热门推荐
jui121314的博客
12-07 1万+
目录   ●背景 ●使用物理服务器 ●增加内存大小 ●使用NVMe协议的固态硬盘 ●将数据库安装在内存 ●业务调整 ●修改默认配置项 ●启用Gin (Generalized Inverted Index)索引（仅适用于非前缀模糊查询） ●启用Gist(Generalized Search Tree)索引（仅适用于非前缀模糊查询） ●小结 ●背景 最近工作中遇到了数据库的查...
查看PostgreSQL数据库进程占用内存的方法
荷塘月色
11-26 1566
使用top命令查看内存时，会发现有一些PostgreSQL进程占用了很大的内存，用ps aux常看各个进程的内存时，如果把各个进程的内存加起来时，发现超过了总内存，所以很困惑。
pgloader：Heap exhausted ，game over
weixin_43735309的博客
12-06 1181
我是使用docker 安装的 在使用pgloader 将mysql迁移到pg里面，出现了一下报错，关于内存回收的 Heap exhausted during garbage collection: 16 bytes available, 48 requested，当时使用sbcl的后来查了下帖子： https://github.com/dimitri/pgloader/issues/327 节省时间：他两讨论了半天两个参数和运行路径的调整，但是都白给了。后来使用ccl做垃圾收集器，就没再遇到相似的报错了。
PostgreSQL CPU 100%问题排查
Tech_Sharing的博客
09-18 7612
前 言 一般来说, CPU 问题是由 低效SQL引发， 而造成低效SQL 的原因有： SQL 写法不够优化 表的数据量发生了变化， 但统计信息未及时更新 数据库本身的bug 分析解决 为了进一步调查这个问题， 请参考如下建议： 请参考文档 【1】其中提到的排查高 CPU 利用率的方法。比如： 本机 PostgreSQL 视图和目录（例如 pg_stat_statements、pg_stat_activity 和 pg_stat_user_tables）查看数据库级详细信息。有关更多信息，请参
pgsql查询数据库占内存最大的10张表
a735474741的博客
08-18 982
SELECT relname, age(relfrozenxid) as xid_age, pg_size_pretty(pg_table_size(oid)) as table_size FROM pg_class WHERE relkind = 'r' ORDER BY pg_table_size(oid) DESC LIMIT 20;
linux数据库服务器如何划分空间
03-08
<think>好的，用户问的是Linux数据库服务器如何划分空间。首先，我需要回忆一下相关的知识，确保回答准确。用户可能是个系统管理员或者刚开始接触服务器配置的人，他们需要了解基本的空间划分原则和步骤。 首先，数据库服务器的空间划分要考虑多个因素，比如数据库类型、数据量、性能需求、备份策略等。用户可能希望知道具体该怎么做，而不仅仅是理论。所以，我应该分步骤解释，结构清晰，让他们能一步步操作。 第一步是需求分析。要明确数据库的类型，比如是MySQL、PostgreSQL还是MongoDB，不同的数据库可能存储结构不同。然后估算数据量，包括初始大小和增长预期，比如每年增长多少。接着，性能要求，比如是否需要高速IO，这会影响到是否使用SSD或者RAID配置。备份和恢复策略也很重要，需要预留足够的空间给备份文件。用户可能容易忽略这点，得提醒他们。 然后是分区方案。通常建议将系统、数据和日志分开。系统分区单独分出来，防止日志或数据占满导致系统崩溃。数据分区根据数据库类型存放数据文件，日志分区存放事务日志、二进制日志，这些对恢复很重要。备份分区单独分，可能还要考虑远程备份。临时分区处理数据库的临时表或排序操作，避免影响主数据区。 接下来是文件系统选择。比如XFS适合大文件，Ext4稳定，Btrfs有快照功能。用户可能需要根据场景选择，比如需要快照的话选Btrfs。另外，挂载选项如noatime可以提升性能，特别是对于写入频繁的数据库。 存储优化方面，LVM或者RAID的使用。LVM方便扩展，RAID提高冗余或性能。比如RAID10适合高性能和高可靠性，但成本高。用户可能需要权衡成本与需求。另外，是否使用SSD，尤其是NVMe的，对于高并发场景很重要。 容量预留方面，建议保留20%空间，避免碎片和性能下降。监控工具如df、du，或者Prometheus等，能帮助及时发现问题。定期清理旧日志和备份，避免空间浪费。用户可能不知道需要定期维护，这里要强调。 安全方面，权限设置很重要，比如mysql用户应该有数据目录的权限，但其他用户不能访问。SELinux或AppArmor的配置也可能影响数据库运行，需要适当调整。 例子部分，给出一个MySQL服务器的划分示例，让用户更直观。比如系统50G，数据500G，日志100G，备份200G，临时20G，并具体说明用途和文件系统类型。 最后，注意事项，比如避免根目录太小，考虑未来扩展，日志轮转和监控告警。这些都是实际中容易出问题的地方，用户可能没有经验，需要提醒他们。 检查一下有没有遗漏的点，比如是否要提到数据库的具体配置，比如MySQL的datadir设置，或者PostgreSQL的pg_wal目录位置？不过用户的问题是关于空间划分，可能不需要深入数据库配置细节，保持操作系统层面的建议即可。 确保语言口语化，避免技术术语过多，必要时解释术语。结构分步骤，每个部分用小标题，让用户容易阅读。最后再检查LaTeX是否符合要求，但用户问题中没有数学公式，可能不需要使用。不过系统级指令提到行内公式用$...$，独立公式用$$...$$，但这里可能用不上，所以没问题。</think>Linux数据库服务器的空间划分需要综合考虑性能、安全性、可维护性和扩展性。以下是详细的操作步骤和注意事项： --- ### **一、需求分析阶段** 1. **确定数据库类型** - OLTP（联机事务处理）需要高IOPS（如MySQL） - OLAP（联机分析处理）需要大容量存储（如ClickHouse） - 日志型数据库（如Elasticsearch）需预留高吞吐空间 2. **评估数据规模** - 初始数据量（如100GB） - 年增长率（如30%） - 最大表/索引大小（通过`SHOW TABLE STATUS`获取） 3. **明确性能指标** - 读写比例（如70%读/30%写） - 并发连接数 - 备份窗口时间要求 --- ### **二、物理分区方案** #### **1. 系统分区（必需）** - **大小**：50-100GB - **文件系统**：Ext4/XFS - **用途**：存放操作系统和基础软件包 - **挂载点**：`/`（根分区） #### **2. 数据分区（核心）** - **大小**：占总存储60%-70% - **文件系统**：XFS（推荐大文件性能） - **挂载点**：`/var/lib/mysql`（MySQL默认路径） - **配置要点**： ```bash # 禁用最后访问时间记录（提升性能） mount -o noatime,nodiratime /dev/sdb1 /var/lib/mysql ``` #### **3. 日志分区（关键）** - **事务日志**（如InnoDB redo log） - 大小：4-8GB（MySQL建议至少4个日志文件） - 挂载点：`/var/log/mysql/innodb_log` - **二进制日志**（Binary Log） - 大小：保留7天量（通过`expire_logs_days`配置） - 挂载点：`/var/log/mysql/binlog` #### **4. 备份分区（必需）** - **大小**：至少等于数据量×2 - **存储类型**：可选用廉价HDD - **建议方案**： ```bash /backup/daily # 每日增量备份 /backup/full # 每周全量备份 ``` #### **5. 临时分区（可选但推荐）** - **大小**：内存大小的1-2倍 - **用途**：存放临时表、排序缓存 - **配置示例**： ```sql -- MySQL配置示例 tmpdir = /mnt/db_tmp ``` --- ### **三、高级存储方案** #### **1. LVM逻辑卷管理** ```bash # 创建物理卷 pvcreate /dev/sdb # 创建卷组 vgcreate vg_db /dev/sdb # 创建逻辑卷 lvcreate -L 500G -n lv_data vg_db lvcreate -L 100G -n lv_logs vg_db # 扩展逻辑卷（后期扩容） lvextend -L +200G /dev/vg_db/lv_data ``` #### **2. RAID级别选择** | RAID级别 | 适用场景 | 性能特点 | |----------|--------------------|-----------------------| | RAID 10 | 事务型数据库 | 高读写性能，冗余可靠 | | RAID 5 | 读密集型数据库 | 空间利用率高 | | JBOD | 海量冷数据存储 | 无冗余，成本最低 | --- ### **四、容量规划示例** ```bash # 查看目录大小 du -sh /var/lib/mysql # 数据目录 du -sh /var/log/mysql # 日志目录 # 监控命令 df -Th --exclude-type=tmpfs # 排除临时文件系统 iostat -x 1 # 监控IO性能 ``` --- ### **五、安全配置** 1. **权限设置**： ```bash chown -R mysql:mysql /var/lib/mysql chmod 750 /var/lib/mysql ``` 2. **SELinux策略**： ```bash semanage fcontext -a -t mysqld_db_t "/db_data(/.*)?" restorecon -Rv /db_data ``` --- ### **六、故障处理预案** 1. **空间不足应急**： ```sql -- 清理二进制日志 PURGE BINARY LOGS BEFORE '2023-01-01 00:00:00'; -- 收缩InnoDB表空间 OPTIMIZE TABLE large_table; ``` 2. **自动清理脚本示例**： ```bash #!/bin/bash find /var/log/mysql -name "mysql-bin.*" -mtime +7 -exec rm {} \; ``` --- ### **注意事项** 1. **避免以下配置**： - 将数据目录放在根分区（/） - 使用NTFS/FAT32文件系统 - 未配置磁盘调度算法（建议deadline或noop） 2. **推荐配置**： ```bash # 调整I/O调度器 echo deadline > /sys/block/sdb/queue/scheduler # 禁用SWAP（内存充足时） swapoff -a ``` 通过以上规划，可构建一个典型MySQL数据库服务器的存储布局： ``` / ├── /var/lib/mysql # 数据目录（XFS，500G） ├── /var/log/mysql # 日志目录（XFS，200G） ├── /backup # 备份目录（Ext4，2TB） └── /mnt/db_tmp # 临时空间（tmpfs，64G） ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值