【MyDB】3-DataManager数据管理之 0-DataManager数据管理框架

-$_$-

已于 2025-03-30 13:43:50 修改

阅读量893

点赞数 8

分类专栏： Java项目文章标签： spring java spring boot

于 2025-01-16 16:35:11 首次发布

本文链接：https://blog.youkuaiyun.com/m0_52031708/article/details/145186414

版权

Java项目专栏收录该内容

50 篇文章

订阅专栏

【MyDB】3-DataManager数据管理之 0.DataManager数据管理框架

DataManager
代码结构
参考资料

DataManager

继事务管理后，来到了myDB的核心。数据管理DataManager

DataManager 继承了一个引用计数缓存框架AbstractCache（可见1-引用计数缓存框架），操控的资源为DataItem

AbstractCache 引用计数缓存框架

redis是基于LRU最近最久未使用的缓存框架。

但是LRU有个问题，上层模块无法感知到资源的驱逐操作。因此会带来不必要的写入

因此，在这里使用引用计数缓存框架。

DataItem和Page两个资源都是基于引用计数缓存框架来获取和释放。

核心思路在于：只有当上层未引用该资源时，才会释放资源。

可以看到，使用的是一个两级缓存框架。

第一级是page缓存，在内存维持page，实质是byte[]，每个page都有一个引用数p，每次引用page，p++，释放page，p–。一旦p==0，就把page写回磁盘(page脏时)，在内存中释放page。
第二级缓存是dataItem缓存，这里的dataItem实质上是切片(切片是go的一种内置结构)对page中一段字节数组的引用，并没有实质上的缓存。这里同样是引用计数法，只不过，当p==0时，只是把切片释放了而已。

在这里作者用了一个很漂亮的写法，独立写了一个引用计数法的缓存模块，把缓存的对象和get缓存和release缓存的接口留了出来，所以这里的page缓存和dataItem缓存都是用这个缓存模块做的。

整个使用缓存的过程即为

1.查找dataItem(简写为d)-->
2.dataItem缓存存在d,直接返回d,不存在d时,在dataItem缓存中创建d缓存-->
3.创建d缓存会从其所在的page(简写为p)中创建切片,若page缓存中不存在p,创建p缓存
4.创建p缓存,即从磁盘中写出相应的page

在这里插入图片描述

一个缓存要能维持在内存中，那么它的引用数就必须一直满足>=1，且不能中断，即是每时每刻都有对缓存的引用，这就意味着，如果对数据库的访问频率不够高，那么引用计数法写的缓存是无效的。可想而知，用引用计数法写的缓存一般比用LRU写的缓存，缓存数不够。
所以在p–的时候可以考虑异步延迟，延迟时间由当前缓存数量决定。

其次在这里我认为用引用计数法写page缓存并不是一个好选择，因为假设有10%的数据（访问频率够高）一直被缓存，就意味着，那10%数据对应的page也会一直维持在内存。如果这10%的数据分步在所有的page中，那么所有的page都会维持在缓存，那所谓的分页管理就没有意义了。

用引用计数法写可以很容易把锁表和缓存结合，在实现诸如b-link-tree之类需要节点加读写锁的索引结构时很方便。

DataItem

DataManager是通过对DataItem数据项的修改来实现对底层实际数据页的操作。

DataItem将底层对文件的操作封装起来，向上层DataManager提供一个数据操作的接口。

因此DataManager只需要操控数据项DataItem即可。

每个DataItem都有唯一的uid来标识。uid=页号 offset（前16位为页号pgno，后16位为页内偏移offset）

DataManager

介绍了DataItem后，DataManager主要就有两部分的功能。

一是初始化（从零初始化或者打开现有的文件初始化），这里并不重要，后续会提

另一个就是对DataItem的操作。

从页面中获取DataItem read(uid)。根据DataItem的uid从PageCache中读取到具体的DataItem数据项。

uid=pgno + offset（数据项在pgno中的偏移位置）

因此，将uid解析为pgno和offset

根据offset定位到dataitem项的位置，先读取isValid以及size，之后根据读取到的size读取所有data

将读取到的 isValid，size，data封装为DataItem返回
向页面中插入data insert(xie,byte[] data) .将上层传入的byte[] data 包装成DataItem，然后写入页面中

data包装为DataItem项

根据pageIndex 页面索引类查找空闲页面

将DataItem写入空闲页面，得到插入的位置offset

将插入操作写入日志

返回uid（Types.addressToUid(pgno,offset)接收pgno和offset，拼成uid）

最后取出的pg重新插入PageIndex中