技术贴 | Rocksdb 中 Memtable 源码解析

原创

已于 2023-04-07 09:55:31 修改 · 1.4k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#java #c++ #数据库

于 2022-11-16 15:18:44 首次发布

本文深入解析了Rocksdb的内存数据结构Memtable，包括其工作原理、数据结构以及如何转换为ImmutableMemtable。Memtable使用SkipList实现，详细介绍了SkipList的插入和查找过程，并探讨了其在Memtable中的应用。

一、什么是 Memtable？

Memtable 是 Rocksdb 在内存中保存数据的一种数据结构，一个 Memtable 的容量是固定的，在 Memtable 写满后，会转换为 Immutable Memtable，Immutable Memtable 中的数据会 Flush 到 SST File 中。

Memtable 和 Immutable Memtable 的唯一区别是 Memtable 可读可写，而 Immutable Memtable 是只读且不允许写入。Rocksdb 引入了 Column Family 的概念，在一个 Column Family 中只有一个 Memtable，但允许存在多个 Immutable Memtable。Rocksdb 支持创建多数据结构类型的 Memtable，默认的是 SkipList，即跳跃表。

二、Memtable 的数据结构

Rocksdb 中 Memtable 有多种实现方式 (SkipList / HashSkipList / HashLinkList / Vector)，其中默认的实现方式为 SkipList。

一个 Memtable 中维护了两个 SkipList，其中范围删除插入 range_del_table_，其余的操作写入 table_。

Memtable 定义的操作接口 Add () 如下：


bool MemTable::Add(SequenceNumber s, ValueType type,
                   const Slice& key, /* user key */
                   const Slice& value, bool allow_concurrent,
                   MemTablePostProcessInfo* post_process_info) {
  // 一条key-value Entry的数据格式
  //  key_size     : varint32 of internal_key.size()
  //  key bytes    : char[internal_key.size()]
  //  value_size   : varint32 of value.size()
  //  value bytes  : char[value.size()]
  uint32_t key_size = static_cast<uint32_t>(key.size());
  uint32_t val_size = static_cast<uint32_t>(value.size());
  uint32_t internal_key_size = key_size + 8;
  const uint32_t encoded_len = VarintLength(internal_key_size) +
                               internal_key_size + VarintLength(val_size) +
                               val_size;
  char* buf = nullptr;
  // 通过判断key-value的类型来选择memtable, 范围删除的kv插入range_del_table_
  std::unique_ptr<MemTableRep>& table =
      type == kTypeRangeDeletion ? range_del_table_ : table_;
  KeyHandle handle = table->Allocate(encoded_len, &buf);
  //...
  // 是否允许并发插入
  if (!allow_concurrent) {
    // 是否制定了函数提取key的前缀
    if (insert_with_hint_prefix_extractor_ != nullptr &&
        insert_with_hint_prefix_extractor_->InDomain(key_slice)) {
      // ...
      bool res = table->InsertWithHint(handle, &insert_hints_