《Write-Ahead Log》中文翻译

最新推荐文章于 2025-12-04 09:30:35 发布

翻译最新推荐文章于 2025-12-04 09:30:35 发布 · 448 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://martinfowler.com/articles/patterns-of-distributed-systems/wal.html

文章标签：

#p2p #网络协议 #网络

数据库专栏收录该内容

1 篇文章

订阅专栏

本文探讨了预写日志在分布式数据库中的关键作用，如何通过序列化操作、日志持久化和错误恢复机制确保数据完整性。详解了WALEntry结构、KVStore示例和实现注意事项，以及预写日志在一致性算法和数据库系统中的广泛应用。

注：文章来自于 Write-Ahead Log，作者是在Thoughtworks工作的 Martin Fowler。文章主要写了「预写日志」这一在现代分布式数据库中的常用技术。

预写日志

通过将每个状态更改以命令的形式持久化到日志中，而无需将数据结构刷新到磁盘，来提供持久性保证。

也就是：操作日志。

问题

即时在存储数据的服务器出故障的情况下，也需要数据强完整性的保证。一旦服务器同意执行一个操作，他就应该能执行下去，就算服务器失败重启，丢失所有的内存信心。

解决方案

Figure 1: Write Ahead Log

将每个状态变更以命令的形式存储到硬盘文件中。为每个服务器进程维护一个日志，并按顺序追加。单个日志的顺序追加操作简化了服务重启后的日志处理和后续联机处理工作。每个日志条目都有唯一的标志符。唯一日志标识符有助于在日志上执行某些其他操作，如分段日志( Segmented Log ) 或使用低水位线( Low-Water Mark )清理日志等。日志更新可以使用单一更新队列( Singular Update Queue)来实现。

典型的日志条目结构如下所示：

class WALEntry…

  private final Long entryId;
  private final byte[] data;
  private final EntryType entryType;
  private long timeStamp;

每次重新启动时都可以读取该文件，并且可以通过重放所有日志条目来恢复状态。

考虑一个简单的内存kv存储：

class KVStore…

  private Map<String, String> kv = new HashMap<>();

  public String get(String key) {
      return kv.get(key);
  }

  public void put(String key, String value) {
      appendLog(key, value);
      kv.put(key, value);
  }

  private Long appendLog(String key, String value) {
      return wal.writeEntry(new SetValueCommand(key, value).serialize());
  }

put操作表示为命令，该命令在更新内存哈希映射之前被序列化并存储在日志中。

class SetValueCommand…

  final String key;
  final String value;
  final String attachLease;
  public SetValueCommand(String key, String value) {
      this(key, value, "");
  }
  public SetValueCommand(String key, String value, String attachLease) {
      this.key = key;
      this.value = value;
      this.attachLease = attachLease;
  }

  @Override
  public void serialize(DataOutputStream os) throws IOException {
      os.writeInt(Command.SetValueType);
      os.writeUTF(key);
      os.writeUTF(value);
      os.writeUTF(attachLease);
  }

  public static SetValueCommand deserialize(InputStream is) {
      try {
          DataInputStream dataInputStream = new DataInputStream(is);
          return new SetValueCommand(dataInputStream.readUTF(), dataInputStream.readUTF(), dataInputStream.readUTF());
      } catch (IOException e) {
          throw new RuntimeException(e);
      }
  }

这可以确保一旦put方法成功返回，即使持有KVStore的进程崩溃，也可以通过在启动时读取日志文件来恢复其状态。

class KVStore…

  public KVStore(Config config) {
      this.config = config;
      this.wal = WriteAheadLog.openWAL(config);
      this.applyLog();
  }

  public void applyLog() {
      List<WALEntry> walEntries = wal.readAll();
      applyEntries(walEntries);
  }

  private void applyEntries(List<WALEntry> walEntries) {
      for (WALEntry walEntry : walEntries) {
          Command command = deserialize(walEntry);
          if (command instanceof SetValueCommand) {
              SetValueCommand setValueCommand = (SetValueCommand)command;
              kv.put(setValueCommand.key, setValueCommand.value);
          }
      }
  }

  public void initialiseFromSnapshot(SnapShot snapShot) {
      kv.putAll(snapShot.deserializeState());
  }