去重与压缩
ZOUHUST
华中科技大学
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
重删系统的可扩展性和可靠性
随着备份数据的增长,备份系统的地可扩展性便是一个亟待解决的问题。NEC公司开发的HYDRAstor系统是一个可扩展的二次存储系统,并应用于企业领域。主要优势有:支持在线扩容,在线更新,同时能够容忍多个磁盘,节点或网络错误,并且能够在错误发生后自动重建,并通知用户的可恢复性。它有前端的访问节点与网格化架构的后端存储节点两部分组成。后端存储中实现数据重删,并且结合分布式哈希算法,把数据块分布存储到各个原创 2012-06-23 16:16:42 · 1912 阅读 · 0 评论 -
重复数据删除技术的研究与分析
重复数据删除技术的研究与分析 摘要基于磁盘的重删存储已经作为企业数据保护中新一代存储兴起发展并将代替磁带库的存储形式。数据重删技术删除冗余的数据并将数据压缩为一种高紧凑的格式,从而节省容量使磁盘备份变得经济适用,但磁带却做不到。企业数据保护中重要的要求是高吞吐量,典型的为100MB/秒,要尽快地完成备份操作。一个重要的难题是,在这样的速率及低性能系统下如何鉴别并删除重复原创 2012-06-26 11:21:33 · 5931 阅读 · 0 评论 -
数据压缩方法概述
一、 行程长度压缩 原理是将一扫描行中的颜色值相同的相邻像素用一个计数值和那些像素的颜色值来代替。例如:aaabccccccddeee,则可用3a1b6c2d3e来代替。对于拥有大面积,相同颜色区域的图像,用RLE压缩方法非常有效。由RLE原理派生出许多具体行程压缩方法: 1.PCX行程压缩方法: 该算法实际上是位映射格式到压缩格式的转换算法,该算法对于连续出现1次的字节Ch,若Ch转载 2013-03-25 10:15:04 · 3406 阅读 · 0 评论 -
重删之删除-Memory Efficient Sanitization of a Deduplicated Storage System
重复数据删除这水太深了,又几篇关于重删的文章闪现于Fast13. 一篇关于恢复的,一篇关于元数据压缩(recipe compression) , 一篇关于并行删除的(不太懂,还没细看), 有一篇关于删除的(Sanitization),还有一篇关于提高恢复速度的。 Memory Efficient Sanitization of a Deduplicated Storage Syste原创 2013-03-15 20:29:43 · 1592 阅读 · 0 评论
分享