以太坊之LevelDB源码分析_ethdb源码分析-优快云博客

本文链接：https://blog.youkuaiyun.com/csds319/article/details/80361450

最近研究以太坊的LevelDB使用，看了看代码，大致介绍下使用流程（网上介绍的leveldb大多是c++版本的，以太坊使用的是go语言版本的），我使用的是mac book开发环境。介绍中会忽略一些细节，如有重要遗漏或者错误欢迎指出。

读此篇文章默认leveldb的基本知识都了解，可以参见我的另外一篇文章介绍

https://blog.youkuaiyun.com/csds319/article/details/80333187

初始化

在ethdb/database.go的NewLDBDataBase（）函数中，

db, err := leveldb.OpenFile(file, &opt.Options{
		OpenFilesCacheCapacity: handles,
		BlockCacheCapacity:     cache / 2 * opt.MiB,
		WriteBuffer:            cache / 4 * opt.MiB, // Two of these are used internally
		Filter:                 filter.NewBloomFilter(10),
	})

file就是leveldb的路径，以太坊的默认路径是/Users/$Owner/Library/Ethereum/geth/chaindata

OpenFilesCacheCapacity：以太坊设置的是1024，作用应该是可打开的文件数吧，后续代码中再确认一下

BlockCacheCapacity：设置的是cache的一半，是384M

WriteBuffer：设置的是cache的1/4，是192M，这个是memtable的size。为什么是1/4呢，因为cache是设置的leveldb总共使用的大小，一半给了BlockCacheCapacity，另外一半是给memtable的。而leveldb写数据的流程是先写memtable，等写满了把这个memtable forzen，然后启用minor compaction到level 0文件，同时new一个memtable供新写入。所以cache的一半是给memtable和frozon memtable用的，单个memory的大小就是1/4

Filter：bloom filter，每个level文件会建filter，10的意思是每个key hash的次数。bloom的位数需要代码确认下

OpenFile就会直接调用到leveldb的db.go文件中

经过一些列初始化，恢复log文件等，建立了若干个goroutine，看代码

func openDB(s *session) (*DB, error) {
    ....
    // Doesn't need to be included in the wait group.
    go db.compactionError()  
    go db.mpoolDrain()

    if readOnly {
	db.SetReadOnly()
    } else {
	db.closeW.Add(2)
	go db.tCompaction()
	go db.mCompaction()
	// go db.jWriter()
    }
}

compactionError：看代码是监听一些channel做处理，暂未深究，后续补充

mpoolDrain：启动一个30s的ticker读取mempool chan，具体作用暂未深究，后续补充

mCompaction: minor compaction，就是把memory的内容写入到level 0的文件

tCompaction：major compaction，就是合并不同层级的level文件。比如level 0满了（已经有大于等于4个文件了），此goroutine监听到了，就会将level 0的某个文件和level 1的某些文件合并成新的level 1文件

到这里leveldb的初始化就成功了，新建几个goroutine监听是否compaction，基本流程大值如此了

读写数据

leveldb提供了一些接口来写数据，以太坊做了包装，具体看ethdb/interface.go

// Putter wraps the database write operation supported by both batches and regular databases.
type Putter interface {
	Put(key []byte, value []byte) error
}

// Database wraps all database operations. All methods are safe for concurrent use.
type Database interface {
	Putter
	Get(key []byte) ([]byte, error)
	Has(key []byte) (bool, error)
	Delete(key []byte) error
	Close()
	NewBatch() Batch
}

// Batch is a write-only database that commits changes to its host database
// when Write is called. Batch cannot be used concurrently.
type Batch interface {
	Putter
	ValueSize() int // amount of data in the batch
	Write() error
	// Reset resets the batch for reuse
	Reset()
}

定义了三个interface，Putter，Database和Batch与LevelDB读写交互