Leveldb源码分析--3

最新推荐文章于 2025-03-13 13:40:36 发布

原创

最新推荐文章于 2025-03-13 13:40:36 发布 · 2w 阅读

9 ·

CC 4.0 BY-SA版权

本文深入剖析Leveldb的Memtable，它是内存中KV数据的存储结构，核心是Skip List。当内存达到一定阈值时，Memtable会转为Immutable并写入磁盘。Memtable提供Add、Get接口，不直接执行删除，而是通过标记。文章详细介绍了Memtable的用途、接口、Skip List以及Key结构，包括InternalKey、ParsedInternalKey、User Key、LookupKey和Memtable Key。

4 Memtable之1

Memtable是leveldb很重要的一块，leveldb的核心之一。我们肯定关注KV数据在Memtable中是如何组织的，秘密在Skip list中。

4.1 用途

在Leveldb中，所有内存中的KV数据都存储在Memtable中，物理disk则存储在SSTable中。在系统运行过程中，如果Memtable中的数据占用内存到达指定值(Options.write_buffer_size)，则Leveldb就自动将Memtable转换为Memtable，并自动生成新的Memtable，也就是Copy-On-Write机制了。

Immutable Memtable则被新的线程Dump到磁盘中，Dump结束则该Immutable Memtable就可以释放了。因名知意，Immutable Memtable是只读的。

所以可见，最新的数据都是存储在Memtable中的，Immutable Memtable和物理SSTable则是某个时点的数据。

为了防止系统down机导致内存数据Memtable或者Immutable Memtable丢失，leveldb自然也依赖于log机制来保证可靠性了。

Memtable提供了写入KV记录，删除以及读取KV记录的接口，但是事实上Memtable并不执行真正的删除操作,删除某个Key的Value在Memtable内是作为插入一条记录实施的，但是会打上一个Key的删除标记，真正的删除操作在后面的 Compaction过程中，lazy delete。

4.2 <

最低0.47元/天解锁文章

5 条评论

「已注销」 2018.08.11
您好，我能提个疑问吗，希望能得到您的回答，问题如下：在在大量写数据的情况下内存会上涨，在ideawu就是SSDB作者所说的ssdb针对write_buffer_size(对应leveldb的memtable/imemtable的大小，单位是MB)，的限定不能真正的确保内存只限制在这么大的原因可能是在ssdb中往leveldb写数据的时候是先写到writer_batch这个队列中的，然后在leveldb层批量处理，但是这个时候因为写数据很多，可能导致memtable很快就满了，在makeRoom的时候，如果需要将当前的memtable转为imemtable的话就会去先获得信号量，该信号量会被compation的线程释放，所以如果来不及等到这个信号释放的话这些数据就不能及时放在memtalbe/imemtable更没有就是落盘，所以带来的问题是不是不仅仅是内存上涨，而且是读取不到这些还没写到memtalbe/imemtable中的数据呢
- but2013回复「已注销」 2019.02.20
  [reply]m0_37579159[/reply] 一次批量写入非常大，是会超过memtable限定大小，因为批量写memtable的时候不会判断实际占用memtable大小，会在下次写的时候将memtable转为imm table然后存盘。但是你说的下次查不到本次批量写入的数据，我认为不可能，因为批量已经写入到了memtable中，应该是能查到的

L_J_SHOU 2014.03.25
很不错。。多谢

不烦_zh 2014.03.09
我觉得internalKey中是| User key (string) | value type (1 byte) |sequence number (7 bytes) | 这样的，左边是低位。这样ExtractValueType中type取的是低8位才说的通
- xu758142858回复不烦_zh 2020.05.10
  [reply]u012625817[/reply]internal_key逻辑上的概念，具体存到内存中，是小端还是大端，是根据leveldb来定的，leveldb采用的是小端，而且num都是通过decode函数解码之后的，所以valueType是num的低8位，没有问题~~~
- sosohu回复不烦_zh 2016.04.27
  [reply]u012625817[/reply]同意，应该就是User key (string) | value type (1 byte) |sequence number (7 bytes) 因为: uint64_t num = DecodeFixed64(internal_key.data() + n - 8); unsigned char c = num & 0xff; result->sequence = num >> 8; result->type = static_cast<ValueType>(c);