postgresql数据库写入数据缓慢或者停止的问题

本文探讨了使用Apache Nifi同步数据时遇到的PostgreSQL数据库写入缓慢或停止的问题。通过对表膨胀及垃圾回收机制的深入分析,给出了手动触发垃圾回收的临时解决方案,并提出了构建定期执行SQL的持久性解决方案。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


背景

公司采用了apache的nifi来同步实时数据,偶尔会有数据写入缓慢或者停止写入占用连接池的情况,近几天有个现场突然说数据出现了问题,于是与公司dba开始一起排查


一、为什么写入缓慢或者停止写入?

经过dba的排查发现原因为,大量数据的更新导致PG库的表膨胀问题,表膨胀后未及时触发pg的垃圾回收机制,导致插入需要耗费大量的cpu资源,从而造成数据库性能不佳

二、解决办法

1.临时解决办法

手动触发该表的垃圾回收机制,代码如下(示例):

vacuum full 数据库.;

2.持久办法

通过构建脚本或定时任务去定期去执行sql,最后采用NIFI搭建定期回收垃圾资源执行模块去解决

NIFI的设置

三.坑!

该sql必须在事务块外执行,如果用nifi的话可以采用ExecuteSQL模块定时去执行,而不是采用putsql模块,putsql模块貌似是在事务块内写入数据,尝试用putsql各种设置都无果。遂采用ExecuteSQL定时执行。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值