
存储技术
文章平均质量分 77
王东临
书生集团/YottaChain创始人&首席科学家,教授级高工,中国十大青年科学家,首届中国杰出工程师,中国软件行业十大杰出青年,南开大学兼职教授,OASIS国际工业标准组织UOML-X技术委员会主席
展开
-
存储公链的存储共识机制
区块链存储是需要存储共识机制的,即证明存储节点是否真实存储了数据,存储共识机制要求难以作弊、成本代价低。VDF、zk-SNARK学术价值较大,基于Hash的存储共识机制工程价值大原创 2022-01-23 00:56:12 · 698 阅读 · 0 评论 -
专为存储设计的LRC编码
一个商业存储系统,为了实现故障容错需要有数据冗余技术。数据冗余技术分为如下几个级别:入门级:多副本常规级:RAID高级:纠删码顶级:LRC编码LRC编码是专门为存储设计的前向纠错分组差错控制编码,可以在略微增加数据冗余率的代价下降数据重建的开销降低一个数量级原创 2021-08-01 21:06:22 · 2038 阅读 · 0 评论 -
YTFS——跨地域的分布式存储(WAN存储)
Ceph/HDFS等传统分布式存储属于中心化存储,整个存储网络都位于同一机房,能提供服务器级别的故障域隔离,但无法应对机房甚至城市级别的故障。跨地域的分布式存储称为WAN存储,从设计理念到技术架构都与传统局域网的分布式存储不相同,需要完全重新设计。YTFS是一个商业化的WAN存储,代码完全开源。YTFS在数据持久性、安全性、服务可用性等核心技术指标上比基于局域网的传统分布式存储有多个数量级的提升。原创 2021-08-01 18:53:00 · 2672 阅读 · 4 评论 -
Filecoin的优势和不足
与公众的认知不同,Filecoin并没有商业化的存储功能,也不是去中心化存储,它只是一个存储交易市场。就像拼多多上可以买到手机,但拼多多公司并不设计、生产、制造手机一样,用户可以在Filecoin上买到存储,但Filecoin自身并不提供存储能力,通过Filecoin可以由去中心化的矿工提供中心化的存储能力。Filecoin改变了区块链的挖矿模式,并使虚拟货币具备了商品属性,都是革命性变革。但缺乏数据持久性保障机制和数据安全机制,也没有图灵完备的智能合约。原创 2021-08-01 01:09:53 · 1036 阅读 · 0 评论 -
IPFS的优势和不足
IPFS原意是指一种点对点的去中心化内容分发协议,人们用IPFS加内容Hash值访问网页,只要IPFS网络上有该网页,不管是被移动到了哪个节点上都能访问到该网页,使得网站内容可以更长久和有效地存在。IPFS也适合做CDN使用。但其设计还不能满足持久化存储市场需求,没有数据持久性保障机制,没有数据安全性保障机制,对硬盘资源的利用率和并发性能都有不足。对IPFS还存在能否永久保留数据、隐私泄露等常见误区。原创 2021-08-01 00:27:25 · 5823 阅读 · 4 评论 -
为什么存储需要分层?
存储分层有多种原因,有的是为了架构灵活度各层之间松耦合便于满足各种需求,更常见的是为了在性能和成本之间取得平衡。由于不同存储技术在技术指标和成本上的差异,存储采用多层的体系,其中最底下一层是持久化存储层,上面都是缓存。越往上性能越好、单价越高、容量越小;越往下性能越慢、单价越低、容量越大。这样整体成本接近最底层,性能接近最上层,容量和持久性等同持久化存储层。原创 2021-08-01 00:00:39 · 5585 阅读 · 0 评论 -
如何实现数据持久性保障机制
为了保障数据持久性(即保证数据不丢),除了对可靠性要求最低的桌面级存储可以听天由命(赌硬盘故障的AFR概率不会落到自己头上)以外,一个存储系统一定要有数据持久性保障机制,即使盘坏了也能保证数据不会丢。数据持久性保障机制由数据冗余、故障域隔离、心跳监测和数据重建四要素构成。原创 2021-07-31 23:45:22 · 740 阅读 · 0 评论 -
7000字长文详述评价存储系统的技术指标
本文详细介绍了衡量存储系统的持久性、安全性、可用性、一致性、延时、吞吐量、IOPS、去重、并发、分区可容忍性、容灾性、抗DDoS、可扩展性等十多项技术指标原创 2021-07-31 23:04:42 · 1739 阅读 · 0 评论