项目的简单介绍
对mini-bitcask
的学习,从零实现一个k-v存储引擎
原项目的github地址,感谢Rose大佬
mini-bitcask
为rosedb
的mini
版本,博主借此了解k-v存储,该项目通过对一个数据文件进行读写以进行简单示意,而非rosedb
的多个数据文件的机制,这里也提供rosedb的github地址
详情
简而言之的话,minidb
设计了数据在内存、磁盘二者中的存放,使用类似LSM
的存储结构。
实现了数据PUT、GET、DELETE
的功能
核心思想为利用顺序IO
来提升性能。
代码分析
这里博主为了学习,由于原main.go
为固定流程,将其改为可自定义的流程,这里附学习项目的github地址,只对main.go进行了修改,并将数据文件的地址改到项目根目录中。
项目结构
.
├── db_file.go
├── db.go
├── db_test.go
├── entry.go
├── errors.go
├── example
│ └── main.go
├── go.mod
├── minidb.iml
└── README.md
接下来对主要部分进行注释和分析
db_file.go
db.go
定义了MiniBitcask
结构体,index
使用map在内存中进行key-value的存储,dbfile和dirpath
是数据文件的相关信息,mu
则用来进行并发的保护
type MiniBitcask struct {
indexes map[string]int64 // 内存中的索引信息
dbFile *DBFile // 数据文件
dirPath string // 数据目录
mu sync.RWMutex
}
db.go
主要功能为提供数据库的集成功能,创建数据库实例OPEN
实现方法写入数据PUT
、取出数据GET
、删除数据DEL
、合并数据文件merge
、关闭db实例CLOSE
,也是我们主要使用的功能
实现过程从内存中获取索引exist
、从数据文件加载索引loadIndexesFromFile
这一部分在原文和源文件中就有代码的分析,这里不再赘述
db_file.go
该部分有关数据文件定义
DBFile结构体包括对应数据文件的句柄,以及下次写入的偏移量、
// DBFile 数据文件定义
type DBFile struct {
File *os.File
Offset int64
HeaderBufPool *sync.Pool
}
newInternal
函数创建一个DBFile实例,NewDBFile
创建一个新的数据文件、NewMergeDBFile
新建一个合并时的数据文件
func newInternal(fileName string) (*DBFile