pg事务ID清理

最新推荐文章于 2024-08-20 08:15:00 发布
最新推荐文章于 2024-08-20 08:15:00 发布
阅读量849 收藏 2
点赞数 1
分类专栏： postgresql 文章标签： oracle 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lov_vol/article/details/137041871
版权
本文介绍了在PostgreSQL中处理事务ID包裹问题的方法，包括监控事务ID状态、autovacuum自动清理机制、如何查看数据的事务ID和死元组，以及手动执行VACUUM命令以避免数据丢失。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

pg事务ID清理


错误信息 “pq: database is not accepting commands to avoid wraparound data loss in database ‘postgres’” 指的是PostgreSQL遇到了事务ID（Transaction ID，简称TXID）的“事务ID包裹”（wraparound）问题。PostgreSQL使用32位的计数器来分配事务ID，当计数器达到大约21亿（2^31）的时候就会发生溢出，这称为事务ID包裹。PostgreSQL通过定期的自动清理（autovacuum）机制来防止这个问题，该机制会清理“死”元组（dead tuples）并冻结旧的事务ID。

查看数据的事务ID

sql select datname, age(datfrozenxid), current_setting('autovacuum_freeze_max_age') from pg_database

监控清理进度

SELECT relname, n_dead_tup, last_autovacuum, last_autoanalyze FROM pg_stat_user_tables WHERE n_dead_tup > 0;

手动清理事务ID

  1. 停止应用程序的写入操作
  2. 使用超级用户链接
  3. 运行VACUUM：执行以下命令来手动运行VACUUM（超级用户执行的时候可以覆盖禁止操作的限制）：

VACUUM (VERBOSE, FREEZE);
或者针对特定的数据库（在这个例子中是postgres数据库）：

VACUUM (VERBOSE, FREEZE) DATABASE_NAME;
这可能会花费一些时间，因为它会扫描整个数据库来防止TXID包裹

【0281】 Postgres内核级事务系统架构（重点）
Postgres 数据库内核开发工程师
04-15 362
【代码】【0281】 Postgres高频命令、语句、函数总结。
postgresql中的冻结
敖尔其楞的专栏
02-01 1409
pg会进行常规的清理老的事务标识符活动，也是就是冻结，来延迟事务wrapround,在pg中一行有2个途径，行版本死亡需要被vacuum清除，或是一个行的版本足够老需要被冻结， 对一个数据库进行vacuum操作 psql -c "VACUUM" postgres pg使用4字节长度来表示标识符，所以事务的个数是有限的，分配标识符是通过循环的方式进行的，当出啊先wrapround的时候，可
PG的事务ID回卷逻辑
howard_shooter的博客
05-10 607
PG的处理方法，简单的说，就是在事务ID还没用完以前，把数据库中所有的tuple处理一遍，将以前的事务（不活跃的事务）修改的（包括插入）tuple中的事务ID改为2（或设置infomask），表示这个tuple对于以后的事务（不管是多少的事务ID）都是可见的，即freeze。按照上面代码的算法，对于任何事物ID，例如100，如果另一个事务ID比它大，但是没有超过这个事务ID后的半圆，例如2^31+100，就认为是在它的后面，那么事务100的tuple，对事务2^31+100就是可见的。
Postgresql - 错误解决 - 9.3 - database is not accepting commands to avoid wraparound data......
chuckchen1222的博客
12-13 2860
数据库日志和程序日志中都有报错 ERROR: database is not accepting commands to avoid wraparound data loss in database "template1" HINT: Stop the postmaster and use a standalone backend to vacuum that database. You m...
AnolisOS 8.8 PostgreSQL 单用户模式的维护
云端
08-20 709
AnolisOS 8.8 PostgreSQL 单用户模式的维护
问题：数据库操作是报错，是什么原因
LuHai3005151872的博客
07-15 416
本周有客户提交问题，说他在操作数据库的时候会报错，报错如下mysqlnd cannot connect to MySQL 4.1+ using the old insecure authentication. Please use an administration tool to reset your password with the command SET PASSWORD = PASSWORD(‘your_existing_password’). This will store a new, and
PG由于系统内核配置不够导致启动报错以及事务ID回卷问题解决方法参考
岳麓丹枫
04-25 1185
max_connections VS semget max_connections是最大连接数，即允许客户端连接的最大连接数，增大连接可以允许接入更多的客户端，但设置过大同样会造成DB启动失败 semget是获取信号的一个函数，即get semaphore [postgres@localhost ~]$ vi /database/pgdata/postgresql.conf max_conn...
09-PG清理——冻结
qq_29431123的博客
08-02 704
在PG中，事务ID(XID)为无符号的32bit数字，所以理论上事务ID最大值为2^32，约为42亿，消耗完成之后就会从头开始分配，0,1,2三个XID为内部XID，新的XID从3开始。
07-PG清理——VACUUM
qq_29431123的博客
08-03 1333
PG采用了和其他RDBMS完全不同的方式实现了多版本并发控制（简称MVCC）。在Oracle或InnoDB中，当我们删除或更新一条记录时，数据库会将删除的记录放到undo段中，undo段中的记录前镜像保证了数据库的一致性。这种实现方式经常会遇到两个问题，一个是在Oracle 常见的01555错误，遇到这种错误DBA一般会调大undo_retention参数或增大UNDO表空间；另一个问题就是delete大量数据时可能会造成其他事务查询效率降低，而回滚delete操作更是让DBA头疼。
pg 事务年龄
03-14
每个事务都有一个唯一的事务ID（XID），而事务年龄可能指某个元组从创建到被清理的时间跨度。 接下来，用户提到“事务age函数”，这可能指的是`age()`函数，但通常`age()`函数用于计算两个时间戳之间的间隔。需要...
pg 事务回卷
03-14
事务中止时，系统会清理事务相关状态（如重置事务ID、子事务层级等）。源码中可见： ```c s->fullTransactionId = InvalidFullTransactionId; s->subTransactionId = InvalidSubTransactionId; // 重置事务标识...
postgres standalone backend 单用户模式运行
jview的专栏
11-18 2145
今天服务器数据库出现以下错误：致命错误:  database is not accepting commands to avoid wraparound data loss in database "postgres"提示:  Stop the postmaster and use a standalone backend to vacuum database "postgres".查了相
解决金仓数据库KingbaseES应对表年龄增长过快导致事务回卷的问题
arthemis_14的博客
12-12 642
前几天碰到这样一个场景，在KingbaseES数据库当作数据同步节点。其特点是接收过来的数据量巨大，其更新超级频繁，最大的数据库达到6TB。这还不是主要的，主要导致问题发生原因是同步数据库有很多重复数据，为了保证准确性，现在做法的每条数据独立一个事务去完成，这就导致保证同步速度的情况事务age被大量并快速消耗。至于为什么会freeze age，这个就不在这里解释了。大家可以自行百度。当时查看两个数据库年龄10几亿，其中最大的一张表年龄23亿。
Greenplum的数据库年龄检查处理
高云平的博客
11-23 990
Greenplum是基于Postgresql数据库的分布式数据库，而PG数据库在事务及多版本并发控制的实现方式上很特别，采用的是递增事务id的方法，事务id大的事务，认为比较新，反之事务id小，认为比较旧。事务id的上限是21亿，正常使用时，事务id只增不减，到达一定程度时，就会触发数据库告警直至数据库只读，无法创建新事务减少事务id的方法是执行提供的回收命令。gp一共是21亿可以使用，使用超过5亿就告警，超过11亿就锁库。
PostgresQL-丢失各种数据文件如何恢复
weixin_44917075的博客
04-29 1017
1.索引文件丢失或者损坏，可以靠重建索引恢复2.fsm以及mv文件的丢失，重启数据库会自动恢复3.单个表文件丢失，不会影响数据库启动，但是访问表的时候就会出现问题，这种物理删除文件是没法恢复的，不会记录日志，只能做好备份4.pg_wal和pg_xact日志丢失可以恢复，但是可能会丢失部分数据5.系统表pg_authid数据丢失后可以重新创建超级管理员，依靠备份恢复。
pg事务篇（二）—— 事务ID回卷与事务冻结（freeze）
热门推荐
Hehuyi_In的博客
11-02 1万+
一、 什么是事务ID回卷 前篇文章留下了一个问题，旧事务不应看见新事务修改结果，txid通过比较大小来判断是否可见，任何事务只可见txid＜其自身txid的事务修改结果。但txid是无符号的32位整型，它并不是无限的，当42亿数据用尽之后又应该如何判断可见性？ https://blog.youkuaiyun.com/Hehuyi_In/article/details/102868231 pg将txid空...
POSTGRESQL 事务控制(一) (写着费力，看着费劲系列)
sql server的专栏
08-30 911
最近发现一个问题,最近写的关于感性的文字如DBA 职业迷茫何去何从, 和另外一篇都是较高的用户读取量, 而反观到技术性的文字,基本上都不太高, 能到400以上就属于"上帝帮助&...
硬核-深度剖析PostgreSQL数据库“冻结炸弹”原理机制
数据库架构之美
11-07 2183
冻结（FREEZE），相信熟悉pg的人都对这个词不陌生，因为冻结过程对数据库的资源消耗极大，影响业务的正常运行，所以也被称为“冻结炸弹”。网上关于冻结的文章也比较多，本文就系统性的介绍一下冻结过程的原理以及如何预防。 事务号回卷问题 先介绍下事务号回卷的问题，这也是为什么需要冻结的根本原因。我们知道，postgresql数据库使用32位事务号，最大容纳42亿左右的事务号，事务号是循环使用的，当事务...
database commands
kevin_darkelf的专栏
01-09 217
mysql DDL create create a database in mysql console > CREATE DATABASE my_db CHARACTER SET utf8; alter change the character set of database > ALTER DATABASE my_db CHARACTER SET utf
PG库临时表
最新发布
03-21
### PostgreSQL 中创建和使用临时表的方法 在 PostgreSQL 中，可以通过 `CREATE TEMPORARY TABLE` 或其简写形式 `CREATE TEMP TABLE` 来定义临时表。这些表具有特定的作用域和生命周期，通常用于存储会话或事务期间的中间结果。 #### 创建临时表 以下是创建临时表的基本语法： ```sql CREATE TEMPORARY TABLE temp_table_name ( column1 datatype, column2 datatype, ... ); ``` 此命令会在当前会话中创建一个名为 `temp_table_name` 的临时表。当会话结束时，该表会被自动删除[^1]。 如果希望临时表仅存在于某个事务范围内，则可以在创建时加上 `ON COMMIT DROP` 子句： ```sql CREATE TEMPORARY TABLE temp_transactional_table ( id SERIAL PRIMARY KEY, name TEXT NOT NULL ) ON COMMIT DROP; ``` 在此情况下，一旦事务完成（提交或回滚），临时表将被销毁[^4]。 #### 插入数据到临时表 向临时表插入数据的方式与其他常规表相同。例如： ```sql INSERT INTO temp_table_name (column1, column2) VALUES ('value1', 'value2'); ``` 还可以利用子查询来填充临时表的内容： ```sql CREATE TEMP TABLE temp_sales AS SELECT product_id, SUM(quantity) as total_quantity FROM sales GROUP BY product_id; ``` 这段代码基于现有销售记录生成了一个汇总销量的临时表[^3]。 #### 查询临时表的数据 访问临时表中的数据同样遵循标准 SQL 查询模式： ```sql SELECT * FROM temp_table_name WHERE condition; ``` 需要注意的是，不同用户的会话之间无法相互看到对方所建立的任何临时对象及其内容。 #### 性能考虑与最佳实践 尽管临时表非常有用，但如果频繁地大规模创建它们可能会影响系统的整体表现。为了缓解这种情况带来的压力，建议采取如下措施： - 调整工作内存设置以适应更大的操作； - 避免不必要的大容量数据加载至临时结构里； - 定期执行清理动作移除不再需要的对象； 以上策略有助于减少资源消耗并维持良好的运行效率。 ### 示例综合展示 下面给出一个完整的例子说明如何在一个复杂计算过程中运用临时表辅助处理逻辑: 假设我们需要找出最近一个月内购买次数最多的前五位客户名单. ```sql -- Step 1: Create a temporary table to store intermediate results. CREATE TEMP TABLE recent_purchases AS SELECT customer_id, COUNT(*) AS purchase_count FROM orders WHERE order_date >= CURRENT_DATE - INTERVAL '1 month' GROUP BY customer_id; -- Step 2: Query the top five customers from this temporary data set. SELECT * FROM recent_purchases ORDER BY purchase_count DESC LIMIT 5; ``` 这里先构建了近期内订单统计信息存放在临时空间当中，接着再从中提取排名靠前者呈现给最终使用者查看.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值