Wildcat数据库中的快照隔离与SSTable引用计数机制解析

Wildcat数据库中的快照隔离与SSTable引用计数机制解析

wildcat Embedded database for highly concurrent, transactional log-structured key-value storage. 项目地址: https://gitcode.com/gh_mirrors/wild/wildcat

在分布式数据库系统中，快照隔离(Snapshot Isolation)是一个关键特性，它确保事务能看到数据库在某个时间点的"快照"，即使其他事务正在并发修改数据。Wildcat作为一个高性能的键值存储引擎，通过巧妙的设计实现了这一特性，但在实现过程中也遇到了值得深入探讨的技术挑战。

问题背景

Wildcat采用LSM树(Log-Structured Merge Tree)作为底层存储结构，其中数据被组织成多个层级的SSTable文件。后台的压缩(compaction)进程负责定期合并这些文件以提高查询效率。然而，在原始设计中，压缩进程与读取事务之间可能存在潜在冲突：

当长时间运行的读取事务访问较旧版本的SSTable时，如果压缩进程将这些文件合并移除，就会破坏快照隔离保证，导致事务看到不一致的数据视图。

原始方案及其缺陷

Wildcat最初采用"最旧活跃读取时间戳"(oldestActiveRead)机制来防止这种冲突。每个读取事务开始时，会将自己的时间戳写入这个全局变量，压缩进程在移除SSTable前会检查其时间戳是否早于oldestActiveRead。

但这一设计存在严重问题：

1. 时间戳更新采用简单的原子存储，新事务会无条件覆盖旧值
2. 长时间运行的事务的时间戳可能被短事务覆盖
3. 压缩进程基于错误的时间戳判断，可能移除仍被需要的SSTable

解决方案演进

经过深入讨论，开发团队提出了几种改进方案：

方案一：最小时间戳跟踪

1. 使用CAS(Compare-And-Swap)循环确保oldestActiveRead始终记录真正的最小时间戳
2. 事务结束时重新计算剩余活跃事务的最小时间戳
3. 优点：概念简单直接
4. 缺点：计算开销大，特别是在高并发场景下

方案二：安全检查点

1. 将安全检查推迟到压缩的最后阶段
2. 合并完成后、移除旧文件前进行最终一致性检查
3. 优点：减少不必要的计算
4. 缺点：可能浪费合并工作，需要复杂的重试机制

最终方案：SSTable引用计数

综合各种考量，团队最终采用了基于引用计数的解决方案：

1. SSTable结构增强：

   • 为每个SSTable添加原子引用计数器(refCount)
   • 计数器记录当前访问该文件的活动事务数

2. 读取路径修改：

   • Get操作：短暂增加refCount，使用defer确保释放
   • 迭代器操作：创建时增加refCount，Close时释放

3. 压缩逻辑优化：

   • 允许压缩进程完成合并工作
   • 在移除旧文件前等待所有相关SSTable的refCount归零
   • 避免浪费已完成的工作，同时保证安全性

技术实现细节

引用计数机制的关键实现要点包括：

1. 原子操作：所有refCount修改必须使用原子操作保证线程安全
2. 资源释放：确保所有代码路径都能正确释放引用
3. 等待策略：压缩进程需要合理的等待策略，避免忙等
4. 错误处理：处理各种边界情况，如超时、中断等

性能考量

引用计数方案在性能方面的优势：

1. 低开销：热点路径(Get操作)只需两次原子操作
2. 细粒度：只锁定真正需要的SSTable，而非整个数据库
3. 可预测性：避免了全局最小时间戳计算的不可预测开销
4. 适应性：自然适应各种工作负载，无论长短事务

经验总结

Wildcat的这一演进过程提供了几个有价值的架构设计启示：

1. 简单不等于正确：最初的时间戳方案看似简单，但隐藏着严重问题
2. 延迟决策：将关键检查推迟到最后可能时刻往往能获得更好性能
3. 直接跟踪优于间接推断：直接跟踪资源使用情况(refCount)比间接推断(oldestActiveRead)更可靠
4. 原子操作组合：合理组合原子操作可以构建出高效且正确的并发算法

这一改进不仅解决了Wildcat的快照隔离问题，也为其他LSM-tree实现提供了有价值的参考。通过引用计数机制，Wildcat在保证数据一致性的同时，维持了高性能的读写吞吐，展现了优秀系统设计中的权衡艺术。

wildcat Embedded database for highly concurrent, transactional log-structured key-value storage. 项目地址: https://gitcode.com/gh_mirrors/wild/wildcat