leveldb源码学习——db读写流程

最新推荐文章于 2025-06-12 16:47:12 发布

longzuo

最新推荐文章于 2025-06-12 16:47:12 发布

阅读量1.4k

点赞数

CC 4.0 BY-SA版权

分类专栏： leveldb

本文链接：https://blog.youkuaiyun.com/longzuo/article/details/78147838

leveldb 专栏收录该内容

5 篇文章

订阅专栏

本文详细介绍了leveldb的读写流程。在读流程中，数据按memtable、imm和sst文件顺序查找，使用version确保一致性。Get操作会触发compaction，当对 SST 文件的seek次数过多时。而在写流程中，数据写入涉及队列和writer结构，确保并发安全性，并通过背景线程执行compaction。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

读流程

当用户调用Get方法从leveldb中读取一个key的value时，leveldb按照memtable，imm，sst文件的顺序，依次寻找key。其中，在sst文件中搜索是通过在当前version中Get来实现的，version是sst文件的一个snapshot，可以保证版本一致，如果没有version机制，在get过程中，此key所在sst文件被合并到了其他文件中，则可能会get失败。

关键代码

Status DBImpl::Get(const ReadOptions& options,
                   const Slice& key,
                   std::string* value) {
  Status s;
  MutexLock l(&mutex_);
  SequenceNumber snapshot;
  if (options.snapshot != NULL) {
    snapshot = reinterpret_cast<const SnapshotImpl*>(options.snapshot)->number_;
  } else {
    snapshot = versions_->LastSequence();
  }

  MemTable* mem = mem_;
  MemTable* imm = imm_;
  Version* current = versions_->current();
  mem->Ref();
  if (imm != NULL) imm->Ref();
  current->Ref();

  bool have_stat_update = false;
  Version::GetStats stats;

  // Unlock while reading from files and memtables
  {
    mutex_.Unlock();
    // First look in the memtable, then in the immutable memtable (if any).
    LookupKey lkey(key, snapshot);
    //依次从mem，imm，current version中get对应的value
    if (mem->Get(lkey, value, &s)) {
      // Done
    } else if (imm != NULL && imm->Get(lkey, value, &s)) {
      // Done
    } else {
      s = current->Get(options, lkey, value, &stats);
      have_stat_update = true;
    }
    mutex_.Lock();
  }

  if (have_stat_update && current->UpdateStats(stats)) {
    MaybeScheduleCompaction();
  }
  mem->Unref();
  if (imm != NULL) imm->Unref();
  current->Unref();
  return s;
}

需要注意的点

用户通过user-key来查询，在leveldb中首先会通过user-key和sequence num组成lookupkey，在三处查询，均使用lookupkey
Get时会首先获取锁，在临界区获取mem，imm，current version，当前seq等信息，而从三处查询时，不需要持有锁，因为对以上三处是只读
Get也可能会触发compaction，每个get会导致对sst文件seek，leveldb会记录对每个sst文件的seek次数，到达某个值之后，会将此文件compaction，其中的道理是，假设用户查询key是随机的，那文件越大，其被seek的次数应该越多，leveldb假设16k对应一次查询，比如文件大小为160k，那么它最多被seek10次，seek次数超过了10，就说明它的range太大了，应该被compaction（存疑？）
对sst文件的搜索，其实是按照level0，level1…的顺序进行的，但是这些细节都被封装在version->Get函数中，查看version->Get函数可以看到，首先根据key找到对应的file meta信息（version中保存了各个level的file meta信息），然后根据file meta信息（file number）到cache中找获取对应的TableAndFile（如果没有，则RandomAccess方式打开对应的文件），然后通过Table中的index block，filter block等信息来具体定位key在文件中的位置，期间，可能使用block cache。
MaybeSchedualCompaction函数会将一次compaction的判断和compaction放到后台任务队列中，后台会有一个bg线程消费此队列