Ethereum 源码分析之ethdb

原创

已于 2023-10-29 19:40:48 修改 · 469 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#数据库 #区块链

于 2023-10-29 19:40:35 首次发布

本文详细分析了以太坊ethdb中的数据库接口、底层支持的leveldb、内存db和pebble库，探讨了leveldb的实现细节，包括接口、基本操作、批处理、迭代器和快照功能。

1. ethdb(ethereum数据库)源码分析以及levelDB

ethdb package 存放在位置 go-ethereum/ethdb中

根据分析ethdb的接口Database:

//Database接口位置: go-ethereum/ethdb/database.go
type Database interface{
   
   
    Reader  //读取器:从数据库中读取数据
    Writer  //写入器:向数据库中写入数据
    Batcher //支持数据存储的接口,将多个操作合并到一个批处理任务中,然后一次性提交给数据库执行.
            //减少I/O次数
    Iterator //创建数据库内容的二进制字母排序迭代器的方法.
    Stater   //提供了各种从键值数据库和不可改变的原始数据中检索到状态的方法
    Compacter //方法用于给定键范围的底层数据存储进行压缩。它的作用是丢弃已删除和被覆盖的版本,
    //并重新排列数据,以减少访问它们所需的操作成本.
    Snapshotter //基于当前状态创建一个数据库快照,所创建的快照将
}
//上述中都是接口,那么ethdb的数据库必须要实现上述接口中的所有方法.

底层数据库支持leveldb(kv键值存储库),memorydb(内存数据库)以及pebble(kv键值存储库)三种数据库. leveldb是最常用和成熟的选项,而memorydb则适用于对速度要求较高且数据不需要持久化的场景.
在这里插入图片描述

接下来我们将会介绍leveldb的底层数据库实现下的ethdb:

1.1 go-ethereum/leveldb package

package location: go-ethereum/ethdb/leveldb

实际底层数据库是:GitHub - syndtr/goleveldb: LevelDB key/value database in Go. 即go-ethereum/leveldb是对goleveldb的一层封装.go-etheruem/ethdb/leveldb的结构体如下:

type Database struct {
   
   
    fn string      // filename for reporting
    db *leveldb.DB // LevelDB instance(leveldb实例)

    //下面的字段都是测量数据库性能的meter.
    compTimeMeter       metrics.Meter // Meter for measuring the total time spent in database compaction
    compReadMeter       metrics.Meter // Meter for measuring the data read during compaction
    compWriteMeter      metrics.Meter // Meter for measuring the data written during compaction
    writeDelayNMeter    metrics.Meter // Meter for measuring the write delay number due to database compaction
    writeDelayMeter     metrics.Meter // Meter for measuring the write delay duration due to database compaction
    diskSizeGauge       metrics.Gauge // Gauge for tracking the size of all the levels in the database
    diskReadMeter       metrics.Meter // Meter for measuring the effective amount of data read
    diskWriteMeter      metrics.Meter // Meter for measuring the effective amount of data written
    memCompGauge        metrics.Gauge // Gauge for tracking the number of memory compaction
    level0CompGauge     metrics.Gauge // Gauge for tracking the number of table compaction in level0
    nonlevel0CompGauge  metrics.Gauge // Gauge for tracking the number of table compaction in non0 level
    seekCompGauge       metrics.Gauge // Gauge for tracking the number of table compaction caused by read opt
    manualMemAllocGauge metrics.Gauge // Gauge to track the amount of memory that has been manually allocated (not a part of runtime/GC)

    levelsGauge [7]metrics.Gauge // Gauge for tracking the number of tables in levels

    quitLock sync.Mutex      // Mutex protecting the quit channel access
    quitChan chan chan error // Quit channel to stop the metrics collection before closing the database

    log log.Logger // Contextual logger tracking the database path
}

我们从go-etheruem/ethdb/leveldb/leveldb_test.go中BenchmarkLevelDB中开始

func BenchmarkLevelDB(b *testing.B) {
   
   
    dbtest.BenchDatabaseSuite(b, func() ethdb.KeyValueStore {
   
   
        db, err := leveldb.Open(storage.NewMemStorage(), nil)
        if err != nil