
数据重删
IT_YUAN
这个作者很懒,什么都没留下…
展开
-
基于内容可变长度分块(CDC)
基于内容可变长度分块1,简介重复数据块检测技术分为,固定分块检测技术(Fixed-Sized Partition, FSP),可变分块检测技术(Variable-Sized Partition, VSP),滑动块技术(Sliding Block)。固定分块将数据流按固定的长度分块,实现很简单,但某一处数据的变化将导致之后的所有分块都发生变化,从而无法进行匹配。因此,固定分块技术转载 2013-05-29 11:07:10 · 2923 阅读 · 0 评论 -
重复数据删除技术简介
0.绪论 一般情况下,数据中心每周需要将主存储设备的所有数据备份到辅存储设备上,并保存数月时间,我们称之为全备份。另外,数据中心可能每天还需做一次增量备份,只备份当天改变的数据。辅存储设备的容量达到主存储设备的10到20倍是很正常的。如果需要做容灾备份的话,容量还需翻一倍,假如容灾备份需要在广域网上进行,那么带宽消耗也是很可怕的。1. 重复数据删除的分类 从重复数据删除转载 2013-05-29 09:55:02 · 5067 阅读 · 0 评论 -
重复数据删除的算法
1.Hash算法Hash一般翻译为散列,或音译为哈希,就是把任意长度的输入(称为预映射)通过Hash算法变换成固定长度的输出,该输出就是Hash值。这种转换是一种压缩映射,Hash值的空间通常远小于输入的空间。Hash算法的数学表达式为CA=Hc(Content),其中Hc( )表示单向Hash函数,而Content代表任意长度字符串,CA则代表固定长度Hash值。Hash算法在信息安全领域中被广转载 2013-05-29 19:06:02 · 4652 阅读 · 0 评论 -
文件数据块分块算法解析
1. 简介 存储系统的重复数据删除过程一般是这样的:首先将数据文件分割成一组数据块,为每个数据块计算指纹,然后以指纹为关键字进行Hash查找,匹配则表示该数据块为重复数据块,仅存储数据块索引号,否则则表示该数据块是一个新的唯一块,对数据块进行存储并创建相关元信息。这样,一个物理文件在存储系统就对应一个逻辑表示,由一组FP组成的元数据。当进行读取文件时,先读取逻辑文件,然后根据F转载 2013-05-29 20:48:21 · 7710 阅读 · 0 评论