PostgreSQL 技术日报 (4月19日)|亚美尼亚 PG 盛会将至,内核锁与 WAL 持续优化

postgresql 如何手动清理归档文件(pg_wal) 背景 发现数据库宕机,排查原因发现数据磁盘爆满,经排查发现是数据库数据目录下,pg_wal目录占用过大导致。 pg_wal(Write-AHead Logging) 说明 wal日志位置: $PGDATA/pg_wal(pg10之前叫pg_xlog) # #wal日志文件命名规则: #我们看到的wal日志是这样的:000000010000000100000092 #其中前8位:00000001表示timeline; #中间8位:00000001表示logid; #最后8位:00000092表示log 阅读详情

pg每日新闻封面.png

⚙️ PostgreSQL技术文章

🧩 PGDay Armenia 2026 日程安排与报名指南

1.png

PGDay Armenia 2026 将于4月30日在埃里温举行,这是亚美尼亚首次举办的PostgreSQL会议。活动日程已经公布,早鸟票正在开售。这是一个重要的里程碑,标志着亚美尼亚加入了全球PostgreSQL社区活动网络,为当地开发者和数据库专业人员提供了在本地区进行PostgreSQL知识分享和交流的机会。

https://www.postgresql.org/about/news/pgday-armenia-2026-schedule-registration-3275/

📨 PostgreSQL Hacker 电子邮件讨论精选

🧩 REPACK 并发选项的使用

Antonin Houska和Mihail Nikalayeu正在讨论REPACK操作锁升级的死锁预防解决方案。Houska提出在LOCK结构中添加字段来标识正在升级的锁,触发其他进程进行额外的死锁检查。Nikalayeu提出了更全面的"未来锁"方案,提前声明锁获取意图,让死锁检测器在循环发生前就能预防。他的方案涉及在PGPROC中添加FutureWaitLock,并在存在未来锁时强制使用慢路径加锁。两种方案都旨在解决Andres关于更早取消冲突进程而非等待实际升级尝试的担忧。Nikalayeu的方法能处理包括快路径锁在内的复杂场景,但需要仔细协调以避免死锁检测期间的性能下降和轻量级锁死锁问题。

https://www.postgresql.org/message-id/%3C44458.1776540188@localhost%3E

🧩 减少 xl_heap_visible 日志量优化 WAL(未来可考虑按需设置可见性映射)

Alexander Lakhin 报告了在提交 378a21618 后 btree_gist 的 enum 测试出现失败,该提交引入了 WAL 减少相关的修改。当测试过程中运行 autovacuum 的 ANALYZE 操作时会出现失败,导致查询计划器从 Bitmap Heap Scan 切换为 Index Only Scan,这是由于可见性映射覆盖率增加造成的。新的按需清理行为会将更多页面标记为全可见,使得索引扫描对计划器更具吸引力。Andres Freund 确认了这一分析,并指出虽然 VACUUM 之前也可能导致类似的行为变化,但 ANALYZE 产生这种影响是新现象。这个问题代表的是测试不稳定性而非功能错误。讨论还涉及临时表的缓冲区固定限制,Andres 建议将 GetLocalPinLimit() 降至 num_temp_buffers/4,以防止过度固定的同时为典型工作负载保持足够的预读性能。

https://www.postgresql.org/message-id/%3C46733d68-aec0-4d09-8120-4c66b87047a4@gmail.com%3E

🌐 社交媒体动态

🧩 Databricks数据工程入指南:AlexFreberg讲解数据摄取方法与现代数据工作流组件

Alex Freberg为Databricks平台的数据工程初学者提供入门指导,介绍了两种数据摄取方法,并解释了现代数据工作流的组成部分。这是一个全面的数据工程系列教程的开篇,后续将深入探讨数据摄取、数据转换等相关主题。该内容专门为刚接触Databricks数据工程的用户设计。

https://www.linkedin.com/posts/databricks_if-youre-new-to-data-engineering-on-databricks-activity-7451342364922511361-CYWV

🧩 AI智能体在Lakebase中创建的数据库数量已是人类的4倍

2.jpeg

AI智能体在Lakebase平台上创建的数据库数量约为人类的4倍,充分展现了软件开发领域的快速变革。与传统的逐个系统构建方式不同,智能体能够快速循环地生成、分支、测试和完善应用程序。这些数据库大多存在时间很短,计算操作往往只持续几秒钟。这种转变要求数据库必须支持接近零的闲置成本、能够从小型实验瞬间扩展到生产环境,并与智能体能够可靠操作的开放系统兼容。这一趋…

https://www.linkedin.com/posts/databricks_ai-agents-are-already-creating-4x-more-databases-activity-7451278625515143168-14oT

🧩 Snowflake的Marco Slot解释如何通过pg_lake让Postgres成为更好的分析数据库

3.jpeg

来自Snowflake的Marco Slot介绍了pg_lake开源扩展集如何将Postgres转变为多功能的数据湖仓。这些扩展让用户能够通过简单的SQL命令查询、导入和导出数据湖中的原始数据文件,还可以创建和管理具有高分析查询性能的Iceberg表。讨论内容包括在Discord上与Marco一起探讨湖仓架构的虚拟交流机会,以及即将举行的POSETTE:…

https://www.linkedin.com/posts/posetteconf_marco-slot-snowflake-explains-how-postgres-activity-7451166723136835584-Txuw

🔥 HOW 2026 报名进行中

一场真正以技术为核心的 PostgreSQL 大会

HOW 2026 中国数据库开源发展峰会暨PostgreSQL高峰论坛火热报名中

📍 2026 年 4 月 27 日 - 28 日|济南

大会报名二维码.png

PostgreSQL WAL 日志删除与保留机制深度解析 PostgreSQL的WAL日志管理机制解析 PostgreSQL通过WAL日志实现数据持久化和高可用复制。WAL文件删除需要同时满足5个条件:1)不再需要崩溃恢复;2)成功归档;3)无复制槽依赖;4)超出wal_keep_segments保留范围;5)无其他进程占用。关键参数wal_keep_segments(或wal_keep_size)定义了必须保留的最小WAL量,而max_wal_size/min_wal_size则控制WAL目录的软性大小限制。删除逻辑遵循"硬约束优先于软约束" 阅读详情

相关推荐

PostgreSQL的WAL日志优化及验证

在应用负载不变的情况下可以通过如下方法进行WAL优化登录后复制 1) 延长checkpoint时间间隔 FPI产生于checkpoint之后第一次变脏的page,在下次checkpoint到来之前,已经输出过FPI的page是不在需要再次输出FPI。因此checkpoint时间间隔越长,FPI产生的频度会越低。增大ch...

Java_fenxiang的博客 1231

PostgreSQL的wal文件回收问题

将PostgreSQL的GUC参数wal_recycle设置为on,然后对数据库执行一定业务量的操作,会发现在pg_wal目录下,会出现很多未来使用的wal文件,且创建时间比现在正在使用的wal文件更早,下文将描述和分析这种情况。

好儿郎~志在四方 1743

PostgreSQL:防止 WAL 文件撑爆磁盘的策略(WAL归档配置)

PostgreSQL的WAL文件堆积可能导致磁盘空间耗尽,引发数据库服务中断。本文详解了WAL堆积的常见原因(如归档失败、备库断连、逻辑复制停滞等),并提供了核心防护策略:确保健壮的archive_command、设置archive_timeout、限制复制槽WAL保留量、定期清理失效复制槽等。同时介绍了关键监控指标和应急处理方法,建议将WAL目录独立挂载并定期演练恢复。通过合理配置和闭环管理,可有效避免WAL堆积风险,保障数据库稳定运行。适用于PostgreSQL 10及以上版本。

数据知道的博客 2288

PostgreSQL 技术日报 (3月17日)|PG19 重磅更新 + 查询提速 289 倍,这些新功能太香了

Scalefield提供由CYBERTEC PostgreSQL服务驱动的DBaaS解决方案,运行于Lightbits NVMe over TCP软件定义存储上。该服务使组织能够在Kubernetes和OpenShift上以PB规模在私有基础设施上运行高性能PostgreSQL工作负载,并实现单一供应商简化管理。此解决方案在KubeCon Europe大会…

IvorySQL的博客 1119

NFS服务器配置与autofs自动挂载

NFS服务器配置autofs自动挂载 环境: hostname ip OS server 192.168.220.138 centos7 client 192.168.220.139 centos7 一、NFS概述 NFS(Network File System)网络文件系统。最大功能就是通过网络,让不同的机器、不同的操作系统可以共享彼此的文件。 二、端口 [root@se...

DoloresOOO的博客 1028

图解5G HARQ-ACK反馈:从DCI解析到PUCCH发送的完整数据流

本文详细解析了5G通信系统中HARQ-ACK反馈机制的完整流程,从DCI解码到PUCCH发送的实战指南。重点介绍了HARQ-ACK码本生成、DCI关键参数解读以及PUCCH资源映射等核心技术环节,帮助工程师深入理解5G NR中的数据传输可靠性保障机制。

weixin_27722377的博客 397

PostgreSQL主机无法自动清理pg_wal下wal文件

数据库数据目录下pg_wal的WAL文件在开启归档的模式下会将已归档WAL文件自动清理,具体流程是,转储WAL段文件到disk,写满或者使用pg_switch_wal()后,会生成000000xxxx.ready文件,调用archive_command命令且成功执行后,将ready文件更名为.done文件。而数据库会在执行checkpoint后计算出最旧的需保留的WAL文件,比该值更早的WAL文件...

m0_37535673的博客 4298

MindIE与vLLM-Ascend性能对决:Qwen3在昇腾910B上的推理效率实测

本文深度对比了昇腾910B平台上两大推理框架MindIE与vLLM-Ascend的性能表现。通过实测Qwen3系列模型,详细分析了二者在单卡、多卡场景下的推理效率、扩展性及生产环境适用性,为AI算力基础设施选型提供关键参考。

weixin_29214335的博客 1196

【PostgreSQL的WAL日志解析工具pg_waldump/pg_xlogdump】

PostgreSQL利用日志文件来防止断电之类的故障导致的数据丢失,任何试图修改数据库的操作都会写一份日志记录到磁盘,这个日志称为XLOG/WAL。在数据库定位问题时,就可以使用pg_xlogdump/pg_waldump来解析XLOG/WAL日志,包括日志类型、对应的事务号、修改的文件等等。pg_xlogdump/pg_waldump是查不出数据的,要查出数据,首先要有数据结构,然后要有数据。数据结构是需要查数据库的元数据才能查到,pg_xlogdump没办法做到。

小怪兽的博客 3596

相机图像质量研究(15)常见问题总结:光学结构对成像的影响--暗角

老式相机的暗角往往比较明显,周围一圈能够明显感觉到亮度下降的很多,当然有些电源模仿手持相机的摄影效果,也能看到周围明显的亮度下降。一、

xiaoshixiu的专栏 1125

【讯飞星火大模型AI】SpringBoot整合星火API:从零构建智能数据分析助手

本文详细介绍了如何使用SpringBoot框架整合讯飞星火大模型API,从零构建一个智能数据分析助手。通过清晰的步骤,指导开发者完成API密钥申请、项目搭建、SDK集成与核心代码编写,实现用户通过自然语言指令和CSV数据,即可自动获得ECharts图表代码与专业数据分析结论,极大降低数据分析与可视化的门槛。

neovim7hacker的博客 278

PostgreSQL数据库备份,WAL归档与恢复教程

在 PostgreSQL 中,pg_dump 和 pg_dumpall 是两个常用的备份工具,分别用于逻辑备份单个数据库和整个数据库集群。用于备份整个 PostgreSQL 集群,包括所有数据库、角色(用户)、表空间等全局对象。-j <并行任务数>-j <并行任务数>

雪花凌落的盛夏 2555

pi-coding-agent 完整详解

pi-coding-agent是一个由Mario Zechner开发的专业AI编程助手,基于Node.js和TypeScript构建。核心功能包括:1)多级思考模式(ThinkingLevel),从none到ultra控制推理深度;2)对话压缩(compaction)管理长对话记忆;3)WebSocket实时通信支持流式交互。该智能体支持代码生成、调试、重构等专业编程任务,采用AI Agent架构,具备工具调用和多轮记忆能力。项目结构通常包含server、agent、config等模块,可通过二次开发扩展功

大坡3D软件开发 2439

postgresql的pg_wal日志

个人整理,来源: https://developer.aliyun.com/article/694169 https://www.cnblogs.com/VicLiu/p/11854782.html https://blog.youkuaiyun.com/weixin_39540651/article/details/105737136 https://www.cnblogs.com/VicLiu/p/11854782.html 网络上还存在大量的帖子,关于pg_log,xlog,clog 刚刚接触PG.

Aiky哇 8650

Winform从入门到精通(7)——ComboBox(史上最全)

本文介绍ComboBox控件的详细用法,包括所有属性、事件,绝对史上最全!

qq_34059233的博客 2万+

NX二次开发PK获取对象类型

PK_ENTITY_ask_class(),获取对象类型建议用这个函数,比较通用,包含所有对象类型,可以替代UF_MODL_ask_edge_type(),UF_MODL_ask_body_type(),UF_MODL_ask_face_type()等函数。

qq_39541524的博客 828

PostgreSQL数据库之使用 pg_waldump 和 pg_walinspect 查看 WAL 文件的内容

摘要:PostgreSQL提供pg_waldump和pg_walinspect两个工具用于WAL日志分析。pg_waldump是命令行工具,支持12+版本,需要文件系统权限,适合直接解析WAL文件;pg_walinspect是SQL扩展,支持15+版本,通过数据库查询提供结构化结果。前者适合离线分析,后者便于关联系统表。使用时需注意权限要求,pg_waldump需wal_level设为replica或更高,而pg_walinspect需要超级用户或特定角色权限。两者各有优势,可根据场景选择使用。

Auspicious航的博客 1108

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

PostgreSQL WAL 日志发展史 - pg9

PostgreSQL WAL 日志发展史 - pg9

chirrupy_hamal的博客 1152

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

【PostgreSQL系列】PostgreSQL WAL 目录配置

在 PostgreSQL 数据库管理中,WAL(Write-Ahead Logging,预写式日志)是一个至关重要的组件,它不仅是数据库恢复机制的核心,也是保证数据一致性和持久性的关键技术。PostgreSQL 的 WAL 机制是一种标准的事务日志实现,它要求在数据写入磁盘前,先将变更记录写入持久化的日志中。但随着数据库规模的增长和性能需求的提高,将 WAL 目录独立出来成为一项重要的优化措施。为 WAL 目录选择合适的存储方案是数据库优化的关键环节。WAL 日志默认存储在数据目录的。参数或环境变量设置。

优快云站内信: https://i.youkuaiyun.com/#/msg/chat/qyj19920704 3293

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

PostgreSQL WAL日志膨胀处理

PostgreSQL由于WAL日志的机制,导致其在不正确配置的情况下会出现磁盘空间暴涨的情况,本文档就此情景写一般处理办法。

weixin_42329915的博客 1421

PostgreSQL WAL机制完整分析:从PG9.6到PG17版本演进

PostgreSQL的Write-Ahead Logging(WAL)机制是数据库系统确保数据一致性和持久性的核心组件。本文档基于PostgreSQL源码深入分析WAL相关机制,涵盖WAL大小控制、归档时机、清理策略等关键问题,并对比分析从PostgreSQL 9.6到17.0版本的演进变化。配置简化: 从复杂多级参数演进为直观的基于大小的设置监控增强: 全面的WAL统计和等待事件可靠性提升: 更好的错误处理、自动清理和安全特性可扩展性: 并行处理和高效资源利用ACID保证。

喝醉酒的小白 1599

PostgreSQL 技术日报 (3月14日)|AI 落地 PostgreSQL 拒绝 PPT 空谈

🔔 关注【IvorySQL开源数据库社区】公众号即可获取 PostgreSQL 一手干货与最新动态。

IvorySQL的博客 465

PostgreSQL 技术日报 (4月6日)|内核补丁与性能优化速递

🔔 关注【IvorySQL开源数据库社区】公众号即可获取 PostgreSQL 一手干货与最新动态。

IvorySQL的博客 328

PostgreSQL 技术日报 (4月1日)|pg_textsearch 1.0 发布及内核优化进展

🔔 关注【IvorySQL开源数据库社区】公众号即可获取 PostgreSQL 一手干货与最新动态。

IvorySQL的博客 353

PostgreSQL WAL机制深度解析与优化

PostgreSQL的预写日志(WAL)机制通过"先写日志后写数据"原则确保数据持久性和崩溃恢复能力。WAL将事务修改先记录到内存缓冲区,强制刷盘后才写入实际数据,保障事务提交后不丢失。日志结构包含16MB的段文件和记录变更的WAL Record,通过LSN标识位置。WAL支持故障恢复(REDO/UNDO)、时间点恢复和主从复制,是物理复制的基础。配置参数如wal_level、fsync等可权衡性能与安全性,生产环境建议启用WAL归档和定期备份。该机制以顺序写替代随机写,成为Postgr

HTTP404_CN的博客 1246

PostgreSQL 技术日报 (4月2日)|社区工具更新与内核补丁讨论速递

🔔 关注【IvorySQL开源数据库社区】公众号即可获取 PostgreSQL 一手干货与最新动态。

IvorySQL的博客 409
上一篇: 今日下午开启|HOW 2026 预热场 郑州线下 Meetup,现场见!
下一篇: 重磅预告|HOW2026 会前大师特训!深度吃透 PostgreSQL 内核底层逻辑
IvorySQL
博客等级 码龄5年 745粉丝 566原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值