TFS分布式文件系统学习总结(3)-dataserver类结构详解

最新推荐文章于 2023-04-03 14:48:19 发布

hejm0822

最新推荐文章于 2023-04-03 14:48:19 发布

阅读量993

点赞数

CC 4.0 BY-SA版权

分类专栏： TFS淘宝分布式文件系统学习

本文链接：https://blog.youkuaiyun.com/hejm0822/article/details/81608466

TFS淘宝分布式文件系统学习专栏收录该内容

5 篇文章

订阅专栏

本文详细介绍了TFS分布式文件系统的dataserver组件，主要包括DataManagement和BlockManagement两个部分。DataManagement负责管理client的缓存数据，而BlockManagement则管理磁盘中的物理块。DataFile用于缓存未写入磁盘的文件，BlockFileManager管理逻辑和物理块，确保文件的持久化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本小节主要是介绍dataserver文件访问管理类结构，dataserver主要是由DataManagement和BlockManagement进行管理，其中DataManagement是用来管理client正在写文件的缓存数据的（即还没有持久化的阶段），而BlockManagement是管理磁盘中的物理块数据信息的。下面来详细的阐释下DataManagement和BlockManagement。

1、DataManagement文件数据缓存管理类：

DataManagement:

简介：DataManagement主要是用于管理DataFile信息。

file_number_：为该dataserver的文件序号，在集群里唯一。它是有一个64位的整形进行存储，高32位存储dataserver的信息(ip:port)，低32位用于分配该dataserver的文件序号，最大不超过4的32次方个文件，视图如下：

last_gc_data_file_time_：清除已经过期的保留在缓存里的没有写到磁盘的文件，对应的类为DataFile。

data_file_map_：类型为hash_map<uint64_t, DataFile *>的缓存未写入磁盘的文件数据管理hash map。

DataFile:

简介：DataFile主要是用于缓存client端写入的信息，该信息client未写完毕所以缓存在DataFile内存中。在DataFile的文件内容信息如果超过一定时期后，会认为是超时写而清理掉。

这里主要介绍crc_, tmp_file_name_, ref_count三个字段的意义，其余的字段看字段名就知道其作用了。

crc_：该字段用于检测当client端发送写完成操作时携带的crc值进行判断，传输的数据是否有误。

fd_：如果client写入的数据文件大于2M的话，那么就不要用内存的方式进行缓存了，就用到写文件的方式来缓存，而tmp_file_name_字段则是要写入的文件名路径。

ref_count_：该文件的引用计数

2、BlockManagement物理块数据信息管理类：

BlockFileManagement：

简介：BlockFileManager主要是用于管理逻辑/物理磁盘块的，当有一个文件写完毕后BlockFileManagement会在某个逻辑块中选择一个物理块让文件持久化。

compact_logic_blocks_：压缩块map

physical_blocks_：物理块map

bit_map_size_：super_block_.main_block_count_ + super_block_.extend_block_count_ + 1，从代码可以看出是dataserver上的主块与扩展块数量之和，BlockFileManager会维护一个整形数组，该数组的每一bit代表一个对应块的信息标识。

normal_bit_map_：normal_bit_map_是用来统计块的使用情况的

error_bit_map_：error_bit_map_是用来统计出问题块的情况的

super_block_：超级块信息

super_block_impl：超级块操作接口

LogicBlock：

简介：LogicBlock意为逻辑块，逻辑块管理着属于它的物理块信息。

avail_data_size：当前逻辑块总空间大小，包括已使用的和未使用的空间大小。

visit_count_：该逻辑块访问次数。

last_abnorm_time_：上次逻辑块处理出现异常的时间。

phusical_blocks_：逻辑块对应的物理块。

PhysicalBlock：

简介：PhysicalBlock意为物理块，文件写入的载体。