深入理解 Write-Ahead Logging (WAL) 及其应用

原创 已于 2024-09-11 14:45:14 修改 · 2.9k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #后端

于 2024-09-11 14:45:12 首次发布

在讨论数据库原理的时候，我们经常会听到一种技术-Write-Ahead Logging (WAL)，它保证了数据的持久性和一致性。WAL 的基本思想非常简单，但它的应用范围非常广泛，从数据库到分布式系统，再到各种现代应用的开发中，都能看到它的影子。本文将深入剖析 WAL 的基本机制，并探讨其在不同应用场景中的创新性使用。

图片

什么是 Write-Ahead Logging (WAL)?

Write-Ahead Logging (WAL)是一种日志机制，其核心思想是：在对数据库进行任何持久性更改之前，先将更改记录到一个日志文件中。这种做法的优势在于，即使系统在实际更改数据之前崩溃或发生故障，数据库依然可以通过日志来恢复一致性状态。

WAL的工作原理

WAL的实现通常遵循以下几个步骤：

  1. 记录日志：当事务开始时，对所有要进行的更改操作进行日志记录。

  2. 写入日志：将这些日志顺序地写入一个独立的日志文件中，这样可以保证写入的效率。

  3. 应用变更：在日志写入成功后，将变更应用到数据库的主数据文件中。

  4. 检查点（Checkpoint）：周期性地将日志中的信息刷新到数据库文件中，减少日志文件的大小，并缩短恢复时间。

这种设计能有效减少数据丢失的风险，并且显著提高数据库的性能和恢复速度。

WAL的好处是

最低0.47元/天 解锁文章
快速理解 WAL 机制，架构师必备技能！「建议收藏！！」
魏小言的博客
06-16 2798
文章目录什么是 WAL 机制WAL 应用场景WAL 磁盘中具象结构WAL 截断WAL 检查点 checkPointQ&A附录   WAL 机制，是个伟大的设计，在不同的系统、组件中，都存在它的身影。   WAL 的分析了解，也是你在架构设计道路上，必备的技能之一。   下面来简单唠唠： 什么是 WAL 机制   WAL 全称为，Write Ahead Log ，译为进行写操作前先写日志。 WAL 应用场景   那么 WAL 是用来做什么的呢？   WAL 最早/常出现的场景数据库操作中，解决两个问
MySQL中的Write-Ahead Logging（WAL）策略和CheckPoint技术
QvisCs的博客
09-29 322
CheckPoint技术是一种优化WAL策略的机制，它定期将内存中的数据刷新到磁盘，以减少恢复时的数据重做量。这样，即使数据库发生故障，只需要从最近的CheckPoint开始恢复，而不是从日志的开头。通过将事务日志写入磁盘并定期刷新数据到磁盘，可以最大程度地减少数据丢失的风险，并保持数据的一致性。在MySQL中，Write-Ahead Logging（WAL）策略和CheckPoint技术是关键的持久性机制，用于确保数据的可靠性和一致性。本文将详细介绍这两个重要的概念，并提供相应的源代码示例。
【MySQL 数据宝典】【磁盘结构】- 004 redolog 重做日志
黄金时代的架构之路
04-22 1406
Redo log 记录了事务对数据库做了哪些修改，属于物理日志，包括不同类型的日志记录，如 MLOG_1BYTE、MLOG_2BYTE、MLOG_4BYTE、MLOG_8BYTE 和 MLOG_WRITE_STRING。InnoDB 引擎对数据的更新，是先将更新记录写入 redo log 日志，然后在系统空闲的时候或者是按照设定的更新策略再将日志中的内容更新到磁盘之中。MySQL会根据自身的策略将内存中的数据页刷新到磁盘，这个过程可能会在事务提交后的某个时间点发生。也写满时，会再切换到重做。
NIFI源码学习-（四、1）WAL(Write Ahead Log)预写日志
东南_bit的博客
04-18 1360
nifi WAL 源码分析
详细介绍 Write - Ahead Logging（WAL）技术
weixin_43521001的博客
06-19 730
不过要注意，MySQL 里的二进制日志（binlog ）和 redo log 功能不同，binlog 主要用于复制（主从同步 ）和恢复（基于binlog的点-in-time恢复 ）等场景，虽然它和 redo log 协同工作保障 MySQL 数据一致性（如二阶段提交 ），但 redo log 才是 InnoDB 实现 WAL 的关键组件。比如你要更新数据库里某条记录的姓名，WAL 会先把“要把某条记录的姓名从 A 改成 B”这个操作详细记录到日志里，之后再去实际修改数据文件中对应记录的姓名字段。
Write-Ahead Logging
qq_41278986的博客
03-31 594
1. Overview SQLite 实现 atomic commit and rollback 的方式是 rollback journal。从 version 3.7.0 开始，一个新的 “Write-Ahead Log” 选项可用。使用 WAL 而非 rollback joural 有优点也有缺点。优点包含： 在大部分场景下，WAL 明显更快； WAL 提供更多并发，因为 readers 和 writers 相互间不阻塞。读和写能同时进行； 磁盘 I/O 倾向于更连续； WAL 使用更少的 fsync
PostgreSQL 的 WAL（Write-Ahead Logging）机制及其作用
My_wife_QBL的博客
08-21 1369
WAL（Write-Ahead Logging）是一种日志记录机制，用于确保数据库在发生故障时能够恢复到一致的状态。WAL 的基本思想是在对数据进行实际修改之前，先将这些修改记录到日志中。这样，在系统崩溃或其他故障发生时，数据库可以根据 WAL 中的记录进行恢复，确保数据不丢失。PostgreSQL 中的 WAL（Write-Ahead Logging）机制是保障数据持久性与一致性的重要组成部分。通过将数据修改记录到日志中，WAL 机制不仅提供了强大的故障恢复能力，还增强了系统的高可用性。
【0246】深入分析PG内核Write-Ahead Log的实现机制
Postgres 数据库内核开发工程师
01-20 431
Write-Ahead Log简写为WAL，即预写式日志，PG数据库内核引入WAL的原因基于以下几点：（1）如果发生停电、操作系统错误或数据库服务器崩溃等故障，RAM中的所有内容都将丢失;只有写入磁盘的数据才会被保留。要在故障后启动服务器，必须恢复数据一致性。如果磁盘本身已损坏，则必须通过备份恢复来解决相同的问题。（2）理论上，您可以始终保持磁盘上的数据一致性。
Write-ahead Logging
04-07
**写前日志**(Write-ahead Logging, WAL)是一种广泛应用于数据库系统中的技术，旨在提高系统的高可用性、数据一致性和故障恢复能力。通过在修改数据库内容之前先将相关的更改记录到日志中，WAL能够确保即使在系统...
WAL (Write-Ahead Logging )
法海你懂不?
03-13 5045
类似于MySQL的binary log，WAL存储了对数据的所有更改，这使得服务器崩溃的时候，可以有效地回放日志，是数据得以恢复到崩溃以前。这也就意味着如果将记录写入到WAL失败时，整个操作也可以认为是失败的。 WAL就像日志中心一样，它被同一个region server中的所有region共享。 当客户端启动一个操作来修改数据，该操作便会被封装成一个KeyValue对象实例中，并通过RP...
深度解析Write-Ahead Logging
长期深耕于云计算、大数据、数据库领域！
10-21 1252
崔鹏老师上周技术分享课 精华讲解 内容简介 1.Write-Ahead Logging概览 2.Transaction log 3.FPI 4.WAL文件与记录的内部结构 5.事务日志文件管理 6.实例恢复 7.归档 8.WAL写放大浅析 9.walminer、pg_waldump、wal2json工具浅析 Write-Ahead Logging概览 作用 故障中,保证数据不丢失 Point-in-Time Recovery PITR Streaming Replica..
预写式日志（Write-Ahead Logging (WAL)）
varyall的专栏
05-24 9665
预写式日志 （WAL） 是一种实现事务日志的标准方法。有关它的详细描述可以在大多数（如果不是全部的话）有关事务处理的书中找到。 简而言之，WAL 的中心思想是对数据文件的修改（它们是表和索引的载体）必须是只能发生在这些修改已经记录了日志之后， 也就是说，在描述这些变化的日志记录冲刷到永久存储器之后。 如果我们遵循这个过程，那么我们就不需要在每次事务提交的时候都把数据页冲刷到磁盘，因为我们知道在出现...
【原创】分布式数据一致性之WAL
ycx1225的专栏
11-28 590
维基百科定义： 在计算机科学中，预写式日志（Write-ahead logging，缩写 WAL）是关系数据库系统中用于提供原子性和持久性（ACID属性中的两个）的一系列技术。在使用WAL的系统中，所有的修改在提交之前都要先写入log文件中。 log文件中通常包括redo和undo信息。这样做的目的可以通过一个例子来说明。假设一个程序在执行某些操作的过程中机器掉电了。在重新启动时，程序可能需要...
分布式技术 之 Write-Ahead Log 预写式日志
BBinChina的专栏
05-12 1205
分布式领域，我们经常会讲到预写式日志（Write-ahead logging，缩写 WAL），其主要方式是将所有修改在提交之前都先写入log日志中。 举个例子说明：当我们的设备接收到请求进行操作时，突然断电了。在重启恢复时，我们需要确认操作是成功了，还是部分成功，甚至失败了。我们可以通过检测log，判断计划执行操作的内容与实际上执行操作的内容进行比较，通过比较程序来觉得是否应用，还是回滚等补救措施。 WAL 是关系数据库系统中用于提供原子性和持久性（ACID属性中的两个）的一系列技术，比如PostgreSQ
MySQL中的 Write-Ahead Log 详解
goTsHgo的博客
10-09 1762
WAL 通过将数据修改先记录到日志，再将日志写入磁盘，确保了数据库在崩溃时能够恢复到一致状态。MySQL InnoDB 引擎的 WAL 机制依赖于重做日志的管理和事务的提交策略，通过日志优先的方式实现数据持久性。在底层实现中，
mysql：Write-Ahead Logging (WAL) 技术深度解析与MySQL实现实践
最新发布
weixin_43290370的博客
08-01 980
MySQL WAL配置黄金法则# my.cnf最佳实践[mysqld]innodb_flush_log_at_trx_commit=1 # 重要数据必须1innodb_log_files_in_group=4 # 通常配置2-4个文件innodb_log_file_size=4G # 大事务需要更大日志innodb_log_buffer_size=64M # 8M-64M根据事务量调整innodb_flush_neighbors=0 # SSD建议关闭监控指标体系：日志缓冲区等待次数。
什么是WAL？Write-ahead logging
z69183787的专栏
06-09 1156
什么是WAL "In computer science, write-ahead logging (WAL) is a family of techniques for providing atomicity and durability (two of the ACID properties) in database systems."——维基百科 在计算机领域，WAL（Write-ahead logging，预写式日志）是数据库系统提供原子性和持久化的一系列技术。 在使用WAL的系统中，所有的修改
什么是 WAL？Write-ahead logging
z69183787的专栏
06-09 2769
什么是 WAL WAL(Write Ahead Log)预写日志，是数据库系统中常见的一种手段，用于保证数据操作的原子性和持久性。 在计算机科学中，「预写式日志」（Write-ahead logging，缩写 WAL）是关系数据库系统中用于提供原子性和持久性（ACID 属性中的两个）的一系列技术。在使用 WAL 的系统中，所有的修改在提交之前都要先写入 log 文件中。 log 文件中通常包括 redo 和 undo 信息。这样做的目的可以通过一个例子来说明。假设一个程序在执行某些操作的过程中机器掉电
预写式日志WAL
weixin_30338481的博客
11-23 245
Chapter 25. 预写式日志（Write-Ahead Logging (WAL)） Table of Contents25.1.WAL的好处25.2.WAL配置25.3.内部 预写式日志（WAL） 是一种实现事务日志的标准方法。有关它的详细描述可以在大多数（如果不是全部的话）有关事务处理的书中找到。 简而言之，WAL的中心思想是对数据文件的修改（它们是表和索引的载体）必...
什么是WAL（Write-Ahead Logging）技术
03-09
WAL（Write-Ahead Logging）技术是一种数据库管理系统中的日志记录技术，它在写入数据之前先将数据写入日志文件，以确保数据的完整性和一致性。这种技术可以在系统崩溃或异常情况下恢复数据，同时也可以提高系统的性能和效率。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值