存储基础（二）（6.29）

最新推荐文章于 2024-12-31 19:17:55 发布

ttinch

最新推荐文章于 2024-12-31 19:17:55 发布

阅读量292

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/ttinch/article/details/94020983

本文深入探讨了重复数据删除技术，包括文件级别、固定长度数据块和可变长度数据段三种级别的详细解释，以及源端和目标端重复数据删除的差异。此外，还分析了存储IO类型，如读写、顺序与随机、大I/O与小I/O的性能特点，为企业优化存储系统提供关键指导。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

备份技术

重复数据删除

重复数据删除级别

重复数据删除通过识别重复或冗余数据来降低存储需求。重复数据删除有多种级别，每个级别所对应的文件冗余识别能力有所不同：

文件级别重复数据删除：只要文件有任何修改，整个文件就被认为是一个新的文件，因而会被存储。只有在文件没有任何修改的情况下，该文件才被认为是个冗余文件，从而无需再次存储，但是会创建一个指针从冗余文件指向备份文件，并且保留指针和元数据。需要恢复文件的时候，可以通过唯一文件以及相应的指针或元数据来实现。这种重复数据删除级别效率较低。EMC Avamar包含文件级别重复数据删除功能。
固定长度数据块重复数据删除：常用于快照与复制技术，文件被分割成固定长度的数据块，能够更高效的识别数据的冗余性。但是，因为数据块是固定长度的，所以即使修改文件的一小部分，也有可能导致所有数据块都被修改。例如，如图所示，假如需要添加一个数据块到已有的数据块中，整个数据流都要往后挪以便腾出地方。这种重复数据删除级别效率也不是很高。
可变长度数据段重复数据删除：在固定长度数据块重复数据删除基础上加以改进，使用一种智能化的方法来确定数据块的大小，着眼于数据本身来确定数据块的分界点。可变长度数据块重复数据删除提供更佳的粒度识别重复数据，消除了文件级别和固定长度数据块重复数据删除的低效率。使用可变长度数据块重复数据删除，当添加数据时，数据可被加入可变长度数据块中，整个数据流无需挪动。因此，更多数据块会被定义为相同数据块，要存储的数据也随之减少。在固定长度数据块重复数据删除和可变长度数据块重复数据删除中，同样也会保留指向唯一数据段的指针和元数据。EMC Avamar和Data Domain使用的都是可变长度数据块重复数据删除。