
storage
scdxmoe
这个作者很懒,什么都没留下…
展开
-
Jerasure库简介及使用范例
http://www.cnblogs.com/yuki-lau/p/3365878.html Jerasure库简介及使用范例 刚刚写这篇文章之前看了下上一篇博客的时间:2013年7月19日。居然已经过了3个月了!好快!感叹时间的同时不由的又感叹了下自己的懒惰,其实仔细想想,这段时间自己也做了很多事情: 完成了一篇副本同步相关的专利撰写参与朋友创转载 2015-09-08 17:36:56 · 1768 阅读 · 0 评论 -
Microsoft、Google、Facebook的erasure code技术进展及系统分析
http://blog.sina.com.cn/s/blog_999d1f4c0101e160.html 数据规模庞大(目前google、淘宝等存储的大数据规模以PB为单位)、大数据增长速度远超过摩尔定律,如何利用有限存储资源满足迅速膨胀的存储需求成为大数据时代存储技术面临的一项重大挑战。多副本策略在满足存储可靠、优化数据读性能同时也不可避免地造成存储资源利用率低的缺陷。erasur转载 2015-11-09 17:52:11 · 987 阅读 · 0 评论 -
基于范德蒙矩阵的Erasure code技术详解
http://alanwu.blog.51cto.com/3652632/1406312 在传统存储领域,随着磁盘容量的不断增大,RAID数据重构时间将会是一个非常严重的问题。大家知道,过长的数据重构时间意味着数据可靠性下降。所以,在RAID设计的过程中,一定要考虑数据重构的时间,并且尽可能的将“无数据保护状态”的时间降到最小。在不改变传统RAID架构前提下,只能通过增加数据冗余度转载 2015-11-25 17:23:45 · 3245 阅读 · 0 评论 -
一个IO的传奇一生(12)-- 磁盘阵列1
http://alanwu.blog.51cto.com/3652632/1404234 从技术研发者角度看RAID 在一个IO的旅程中基本上都会经历一个非常重要站点,他就是RAID。提起RAID,基本上是无人不晓,每个人都能说上一点。例如RAID5、RAID6之类的概念,此外,RAID可以提高数据可靠性,但是考虑到IO 性能等问题,很多人都会采用硬件RAID卡转载 2015-11-25 17:35:03 · 1120 阅读 · 0 评论 -
经典漫画讲解HDFS原理
http://blog.chinaunix.net/uid-27105712-id-3274395.html 分布式文件系统比较出名的有HDFS 和 GFS,其中HDFS比较简单一点。本文是一篇描述非常简洁易懂的漫画形式讲解HDFS的原理。比一般PPT要通俗易懂很多。不难得的学习资料。 1、三个部分: 客户端、nameserver(可理解为主控和文件索引类似linux的i转载 2016-03-16 14:34:38 · 2674 阅读 · 0 评论 -
稀疏索引
http://book.51cto.com/art/201012/238283.htm 3.1.3 稀疏索引 稀疏索引只为数据文件的每个存储块设一个键-指针对,它比稠密索引节省了更多的存储空间,但查找给定值的记录需更多的时间。只有当数据文件是按照某个查找键排序时,在该查找键上建立的稀疏索引才能被使用,而稠密索引则可以应用在任何的查找键。如图3-3所示,稀疏索引只为每个存储块设一转载 2016-12-27 16:25:12 · 4786 阅读 · 0 评论