LevelDB 存储文件格式深度解析

LevelDB 存储文件格式深度解析

leveldb LevelDB is a fast key-value storage library written at Google that provides an ordered mapping from string keys to string values. 项目地址: https://gitcode.com/gh_mirrors/leveldb4/leveldb

概述

LevelDB 是一个高性能的键值存储库，其底层采用了一种精心设计的文件格式来组织数据。本文将深入剖析 LevelDB 的存储文件格式，帮助开发者理解其内部数据组织方式。

文件整体结构

LevelDB 的存储文件采用分层结构设计，主要包含以下几个部分：

[数据块1]
[数据块2]
...
[数据块N]
[元数据块1]
...
[元数据块K]
[元数据索引块]
[数据索引块]
[文件尾部] (固定大小，位于文件末尾)

这种结构设计既保证了数据的有序性，又提供了高效的查询能力。

关键数据结构：BlockHandle

LevelDB 使用 BlockHandle 结构来存储内部指针信息，每个 BlockHandle 包含两个字段：

• offset：使用 varint64 编码的偏移量
• size：使用 varint64 编码的大小

varint64 是一种可变长度整数编码方式，可以有效地节省存储空间。

数据块(Data Blocks)

数据块是存储实际键值对的核心部分：

1. 所有键值对按键排序后分配到多个数据块中
2. 数据块位于文件的开头部分，连续排列
3. 每个数据块使用 block_builder.cc 中的代码进行格式化
4. 数据块可以选择性地进行压缩

数据块的组织方式保证了键的有序性，这是 LevelDB 高效查询的基础。

元数据块(Meta Blocks)

数据块之后是元数据块，目前支持的元数据类型包括：

1. 过滤器块(Filter Block)
2. 统计信息块(Stats Block)

未来可能会添加更多类型的元数据块。每个元数据块同样使用 block_builder.cc 进行格式化，并可选择压缩。

元数据索引块(Metaindex Block)

元数据索引块包含：

1. 每个元数据块的条目
2. 键是元数据块的名称
3. 值是指向该元数据块的 BlockHandle

这种设计使得系统可以快速定位到特定的元数据块。

数据索引块(Index Block)

数据索引块是查询性能的关键：

1. 为每个数据块包含一个条目
2. 键是一个字符串，大于等于对应数据块的最后一个键，且小于下一个数据块的第一个键
3. 值是该数据块的 BlockHandle

这种设计使得 LevelDB 可以通过二分查找快速定位到可能包含目标键的数据块。

文件尾部(Footer)

文件尾部是固定长度的结构，包含：

1. 元数据索引块的 BlockHandle
2. 数据索引块的 BlockHandle
3. 填充字节（使总长度固定为40字节）
4. 魔数（固定值 0xdb4775248b80fb57，小端格式）

Footer 的位置固定在文件末尾，是解析文件的起点。

过滤器块(Filter Block)详解

当数据库打开时指定了 FilterPolicy，每个表会存储一个过滤器块：

1. 元数据索引块包含从 filter.<N> 到过滤器块 BlockHandle 的映射
2. 过滤器块存储一系列过滤器
3. 过滤器i包含所有文件偏移在 [i*base...(i+1)*base-1] 范围内的块的键的过滤结果
4. 当前 base 值为 2KB

过滤器块的具体格式：

[过滤器0]
[过滤器1]
...
[过滤器N-1]

[过滤器0的偏移] : 4字节
[过滤器1的偏移] : 4字节
...
[过滤器N-1的偏移] : 4字节

[偏移数组起始位置] : 4字节
lg(base) : 1字节

末尾的偏移数组实现了从数据块偏移到对应过滤器的快速映射。

统计信息块(Stats Block)

统计信息块包含各种统计信息：

1. 键是统计项名称
2. 值是统计数值

计划统计的项包括（待实现）：

• 数据大小
• 索引大小
• 键大小（未压缩）
• 值大小（未压缩）
• 条目数量
• 数据块数量

总结

LevelDB 的文件格式设计体现了几个关键思想：

1. 有序存储：所有键值对按键排序存储，这是高效查询的基础
2. 分层索引：通过多级索引结构实现快速定位
3. 空间效率：使用可变长度编码和可选压缩节省空间
4. 可扩展性：元数据块设计支持未来功能扩展

理解这些设计原理，有助于开发者更好地使用和优化 LevelDB。

leveldb LevelDB is a fast key-value storage library written at Google that provides an ordered mapping from string keys to string values. 项目地址: https://gitcode.com/gh_mirrors/leveldb4/leveldb