openGauss内存引擎WAL实现

最新推荐文章于 2025-11-25 04:04:37 发布
原创 最新推荐文章于 2025-11-25 04:04:37 发布 · 1k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库

本文深入探讨了openGauss内存引擎MOT的WAL(Write-Ahead Logging)实现，包括WAL的整体架构、事务操作记录、RedoLogBuffer、RedoLogHandler和XLog的详细流程。WAL确保数据持久性，事务日志通过RedoLogBuffer先写入内存，然后由RedoLogHandler提交给XLog，最终写入WALsegment文件。文章还介绍了不同类型的DDL和DML操作日志记录格式，以及不同模式的RedoLogHandler的工作原理。

作者介绍：飞你莫属

原文链接：openGauss内存引擎WAL实现

1. 简介

WAL(Write Ahead Logging)是业界通用的保证数据durability的方法，它的基本思想是：数据更新(表数据或者索引数据等的更新)只能在这些更新被写入日志文件并且flush之后才能完成。openGauss内存引擎MOT(Memory Optimized Table)也不例外。本文将从以下几个方面分析MOT WAL的实现：

  • WAL整体架构
  • 事务操作记录
  • RedoLogBuffer
  • RedoLogHandler
  • XLog

2. 整体架构

MOT WAL的整体架构如下：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6RMH8l6x-1611141466966)(0.png)]

事务记录WAL日志的过程如下：

  • 组装生成事务相关的操作记录
  • 将事务相关的操作记录写入基于内存的RedoLogBuffer
  • 当RedoLogBuffer写满或者事务没有更多的日志记录要写入RedoLogBuffer的时候，就会将该RedoLogBuffer提交给RedoLogHandler
  • RedoLogHandler将日志记录提交给XLog
    • 在XLog中先写WAL Log Buffer
    • 在合适时机，将WAL Log Buffer中的数据写入WAL segment文件

3. 事务操作记录

MOT写入WAL的是redo log，其格式如下：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NPu6tt5O-1611141466969)(1.png)]

redo log主要由3部分组成：

  • DDL操作日志区：当前事务中所有DDL相关的操作(如CreateTable，DropTable，CreateIndex，DropIndex)的日志记录保存在这里
  • DML操作日志区：当前事务中所有DDL相关的操作(如Insert，update，delete)的日志记录保存在这里
  • EndBlock：标记当前事务日志记录部分结束或者全部结束

对于不同的DDL操作(如CreateTable，DropTable，CreateIndex，DropIndex)或者DML操作(如Insert，update，delete)的操作记录，其格式不尽相同，下面会逐一讲述。

EndBlock包括2种，分别是用于标记当前事务日志记录部分结束的PartialRedoTx记录和用于标记当前事务日志记录全部结束的CommitTx记录。

3.1 DDL操作日志记录

CreateTable日志记录

在这里插入图片描述

DropTable日志记录

在这里插入图片描述

CreateIndex日志记录

最低0.47元/天 解锁文章
思考（八十九）：WAL 实现
范安崇的博客
09-18 654
WAL(Write Ahead Log) 预写日志，是数据库系统中常见的一种手段，用于保证数据操作的原子性和持久性。甚至可以在游戏框架层： DB 框架级别、事务框架级别，引入 WAL 重底层保证其可靠性。在游戏开发中，某些重要模块，如邮件、充值、商城等，都可以引入 WAL 保证其可靠性。
openGauss学习笔记-212 openGauss 数据库运维-日志参考
超哥的博客
02-02 1416
openGauss学习笔记-212 openGauss 数据库运维-日志参考212.1 日志类型简介212.2 系统日志212.3 操作日志212.4 审计日志212.5 WAL日志212.6 性能日
ETCD 源码学习--WAL 实现
H_L_S的专栏
01-08 1240
在 ETCD 源码学习过程，不会讲解太多的源码知识，只讲解相关的实现机制，需要关注源码细节的朋友可以自行根据文章中的提示，找到相关源码进行学习。 预写式日志(Write Ahead Log, WAL)，其核心思想是，所有的修改在提交之前都要先写入 log，通过日志记录描述好数据的改变后，再写入缓存，等缓存区写满后，再往持久层修改数据。目的在于，在系统崩溃后，能够在日志指导下恢复到崩溃前的状态，避免数据丢失。 WAL 详细介绍：https://segmentfault.com/a/119000001805
ngxtop数据可视化工具教程：实时监控Nginx服务器的终极指南
最新发布
gitblog_00930的博客
11-25 361
想要实时了解你的Nginx服务器运行状况吗？ngxtop数据可视化工具就是你的最佳选择！这款强大的命令行工具能够实时解析Nginx访问日志，并以类似top命令的方式展示关键指标，让你一目了然地掌握服务器状态。🚀 ## 什么是ngxtop数据可视化工具？ ngxtop是一款专为Nginx服务器设计的实时监控工具，它能够： - 实时解析访问日志文件 - 提供类似top命令的实时更新视图 - 显示
Rocksdb 的 WAL实现 底层探索
天行健，地势坤
08-15 5460
作为通用的单机存储引擎，一个基本的crash safe功能是需要提供的，用来保证异常时的数据一致性。像我们rocksdb所在节点出现断电异常，节点死机 等情况，内存中的数据是会丢失的。此时，需要rocksdb提供一种机制，能够在这种异常情况下尽可能挽回多的数据。 业界通用的解决方案就是WAL (write ahead log)，接下来通过Rocksdb 的WAL实现来探索一下 WAL怎么能够保证数据的crash safe。 1. 概览 上层应用针对rocksdb的每一次更新在同步流程之上会存放在两个地方，
openGauss 向量化引擎
cindy__007的博客
11-08 354
可获得性本特性自openGauss 1.0.0版本开始引入。特性简介openGauss提供向量化引擎，通常用在OLAP数据仓库类系统。主要是因为分析型系统通常是数据处理密集型，基本上都是采用顺序方式来访问表中大部分的数据，然后再进行计算，最后将计算结果输出给用户。客户价值通过批量计算，大幅提高复杂类查询性能。特性描述传统的数据库查询执行都是采用一次一数组（tuple）的pipeline执行模式，因此CPU的大部分处理时间不是用来处理数据，而是遍历查询操作树。这种情况下CPU的有效利用率不高，同时也会导致低指
openGauss体系结构_openGauss体系架构
免费分享主流数据库技术
10-16 2583
负责统计openGauss数据库的信息，包括：物理硬件资源使用信息、对象属性及使用信息、SQL运行信息、会话信息、锁信息、线程信息等，并且将这些收集到的统计信息保存在pgstat.stat文件中。列存所使用的共享缓冲区。在列存表为主的场景中，几乎不用shared_buffers。在数据库系统中的读写操作，都是针对内存中的数据，磁盘中的数据必须在处理前加载到内存，也就是数据库缓存中。需要注意的是，openGauss支持全局临时表和会话级临时表，全局临时表的表定义是全局的，而临时表的数据是各个会话私有的。
openGauss技术之MOT内存表管理
免费分享主流数据库技术
11-01 1307
肖荏盖到处宣传，把这个合作资源代码本身自带的一些共有特性宣传成他们产品的特性，说这是芸芬愁砚的关键技术，不仅如此，肖荏盖甚至还拿着他们简单包装了一下的这个产品大言不惭的参加测评比赛，比赛结果是，肖荏盖的产品全部以不合格告终，成为了他那个行业的超级笑话，（其他厂商都是拿着合作资源代码进行了超级深度的优化和改进，肖荏盖直接抄作业，当然不合格了）肖荏盖回到家，看着他即将病逝的儿子肖皓墨，不由得潸然泪下，从此，肖荏盖颓废了，对衣着、发型什么的，肖荏盖也都不讲究了。这类应用的例子有实时的决策系统、
【OpenGauss存储引擎深度】：揭秘数据存储背后的奥秘
本文从存储引擎的介绍开始，逐步深入探讨其核心组件，如数据文件存储结构、事务处理机制和缓存与内存管理。进而，本文着重论述了存储引擎性能优化的方法，包括读写操作的性能瓶颈分析和优化、索引类型的选择与优化...
openGauss数据库体系结构详解
09-28
特别是openGauss提出的多核事务节点(MOT)实例，作为专为高并发事务设计的内存中事务处理引擎，大大提升了事务处理的速度和性能。 openGauss服务体系结构的响应流程，定义了客户端请求如何被数据库接收、处理和返回...
非易失性WAL buffer实现解析（一）
帅的数说
02-06 1305
前文简要介绍了非易失性WAL buffer的PostgreSQL email，本文开始主要介绍其实现机制。 non-volatile WAL buffer同样是结合inte...
openGauss-server:openGauss内核
03-17
|简体中文 什么是openGauss openGauss是一个早期的开源数据库PostgreSQL，融合了华为在数据库领域多年的内核经验，在架构，事务，存储引擎，优化器和ARM架构上进行了适应与优化。 高效 openGauss突破了多核CPU的性能，实现了两路鲲鹏128核150万tpmC，内存优化表（MOT）引擎达350万tpmC。 数据分区 内部线程共享的关键数据结构进行数据分区，减少加锁访问冲突。 NUMA化内核数据结构 关键数据结构NUMA化分配，减少跨CPU访问。 绑核优化 将网络中断绑定核和后台业务线程绑定核区分开，避免运行线程在核间迁移产生的性能变量。 ARM指令优化 结合ARM平台的原子操作lse进行优化，实现关键互斥变量原子高效操作。 SQL通过 通过SQL BY PASS优化SQL执行流程，简化CPU执行开销。 高可靠 正常业务负载情况下，RTO小于10秒，降低每
OpenGauss的内存优化表MOT
howard_shooter的博客
05-19 887
你所提出的问题，是你理解事物的角度。用问问题的方式理解事物，是很好的方法。提出一个好的问题，即选择一个好的角度，对于理解事物是非常重要的。而为了提出好的问题，必须先学习调查。 最近在研究OpenGauss的MOT的原理，其中事务的并发控制参考了silo，而索引参考了masstree。 silo主要是关于事务的OCC的算法。 相关论文：http://people.csail.mit.edu/stephentu/papers/silo.pdf MOT中，表就是一个大的masstree，事务在访问记录.
openGauss执行器技术
Gauss松鼠会
04-21 3357
执行器在数据库的整个体系结构中起承上(优化器)启下(存储)的作用。本文首先介绍执行器的基本框架，然后引申介绍执行引擎中的一些关键技术。通过本文的阅读，读者能对执行器有个基本的认识。 一、 openGauss执行器概述 从客户端发出一条SQL语句到结果返回给客户端的整体执行流程如图1所示，从中可以看到执行器所处的位置。 图1 客户端发出SQL语句的执行流程示意图 如果把数据库看成一个组织，优化器位于组织的最上层，是这个组织的首脑，是发号施令下达指令的机构，执行器位于组织的中间，听从优化器的指挥，严格执行优化
openGauss数据库源码解析系列文章——存储引擎源码解析（六）
Gauss松鼠会
08-02 5858
上一篇详细讲述了“4.2.5 行存储索引机制”、“4.2.6 行存储缓存机制”及“4.2.7 cstore”等精彩内容。本篇我们详细讲述“4.3 内存表”相关内容。 4.3 内存表 MOT（memory-optimized tables，内存表）是事务性、基于行存储的存储引擎，针对众核和大内存服务器进行了优化。MOT是openGauss数据库的一个先进特性，可提供非常高的事务性工作负载性能。MOT完全符合ACID要求，并支持严格的持久性和高可用性。企业用户可以将MOT用于关键任务、性能敏感的在线事务处理应用
openGauss安全加固指南：WAL归档配置
weixin_53596073的博客
07-02 1040
WAL（Write Ahead Log）即预写式日志，是数据库用于恢复事务持久性的一种机制。选项作用为拷贝前如果目标文件已存在，会先删除已存在的目标文件，然后执行拷贝操作。决定了写入WAL的信息量。为了在备机上开启只读查询，用于设置是否开启归档模式，该参数通常只建议当。，否则数据库将无法启动。参数以指定归档WAL日志的命令。对于分布式环境，不支持设置。，并重启数据库使设置生效。为归档WAL日志的命令，参数的值仅供参考，其中。
国产数据库OpenGauss--内存优化表(MOT)实践
penriver的博客
12-31 4168
MOT即Memory-Optimized Table，是openGauss数据库最先进的生产级特性（Beta版本），它为事务性工作负载提供更高的性能。 MOT在高性能（查询和事务延迟）、高可扩展性（吞吐量和并发量）以及高资源利用率（某些程度上节约成本）方面拥有显著优势。 企业可以在关键任务、性能敏感的在线事务处理OLTP中使用MOT，以实现高性能、高吞吐、可预测低延迟以及多核服务器的高利用率 本文是针对OpenGauss 内存优化表MOT的实践记录
openGauss学习笔记-78 openGauss 数据库管理-内存优化表MOT管理-内存表特性-MOT关键技术
超哥的博客
09-24 415
本节介绍了openGauss内存优化表（Memory-Optimized Table，MOT）的关键技术。
openGauss学习笔记-79 openGauss 数据库管理-内存优化表MOT管理-内存表特性-MOT应用场景
超哥的博客
09-25 394
本节介绍了openGauss内存优化表（Memory-Optimized Table，MOT）的应用场景。
opengauss的MOT存储引擎
03-21
### openGauss MOT 存储引擎概述 openGauss 的 MOT (Memory-Optimized Table) 是一种高性能的内存优化存储引擎，它与传统的基于磁盘的存储引擎共同构成了 openGauss 数据库的核心组件之一[^1]。MOT 提供了一种全新的方式来管理和操作高度性能敏感的数据集，通过将这些数据加载到内存中实现极高的吞吐量和低延迟响应。 #### MOT 和传统存储引擎的区别 在 openGauss 架构中，存在两种主要类型的存储引擎：基于磁盘的传统存储引擎以及面向内存优化的 MOT 引擎[^3]。两者均依赖于统一的日志记录机制（Write-Ahead Logging, WAL），并通过共享相同的日志设备完成持久化操作。这种设计使得用户能够灵活选择适合其工作负载特性的存储方案，并享受一致的操作体验。 --- ### MOT 存储引擎的工作原理 MOT 的高效不仅仅来源于它的运行环境位于物理 RAM 中这一事实；更重要的是，该引擎针对现代多核处理器架构下的高并发场景做了深入优化[^4]。以下是几个关键方面： 1. **并发控制** - 动态锁管理器被重新定义以适应随机访问模式下频繁发生的事务冲突情况。 - 实现细粒度锁定策略减少等待时间提高整体效率。 2. **数据结构设计** - 高效索引技术如哈希表或跳表用于加速查找过程。 - 列式布局进一步增强了批量读取时 CPU 缓存命中率从而降低平均延时。 3. **垃圾回收机制** - 自动化的版本清理流程确保长期稳定运行期间不会因为旧版本残留而影响新请求处理速度。 4. **持久化保障** - 虽然大部分活动发生在易失性介质之上，但是借助写前日志(WAL)，即使发生意外断电也能快速恢复至最近提交状态。 ```python # 示例代码展示如何创建一张 MOT 表 CREATE TABLE mot_table ( id INT PRIMARY KEY, name VARCHAR(50), age SMALLINT ) USING mot; ``` 上述 SQL 语句展示了怎样声明一个使用 MOT 技术支撑的新关系型表格实例。注意这里特别指定了 `USING mot` 关键字表明此对象应由内存优化子系统负责维护而非默认文件系统映射路径上的常规方法论所管辖范围之内[^2]。 --- ### 使用指南 当决定采用 MOT 来承载某些特定业务逻辑单元之前，请务必考虑以下几个因素以便做出明智决策: - **成本效益分析**: 将热数据迁移到更昂贵但也更快捷的位置总是伴随着额外支出考量;因此只有那些真正需要亚毫秒级反应能力的任务才值得投入相应资源. - **容量规划**: 明确知晓当前硬件设施所能提供的最大可用RAM总量之后再分配给各个应用程序模块以免造成争抢现象进而拖累全局表现. - **灾难恢复计划制定**: 即使有了完善的WAL保护措施仍需定期备份重要资料以防万一遭遇不可预见的重大事故导致原始副本丢失无法挽回损失. 最后提醒一点就是尽管理论上讲任何规模大小都可以尝试切换成全内存模式运作但实际上对于超大规模集群而言可能还需要更多定制开发才能达到理想效果所以建议从小试点项目起步逐步积累经验教训最终推广开来形成规模化效应. ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值