激励机制的肥,存储介质的土,IPFS的大势不可阻

IPFS作为一种去中心化的文件系统,正逐步改变互联网的数据存储与访问模式。文章探讨了IPFS如何克服技术挑战,实现数据的高效分布式存储,并介绍了西部数据等企业在分布式存储领域的最新进展。

 

冬瓜哥不是混区块链的,对这个圈子一直处在观望状态。这不,在2021深圳国际大数据与存储峰会上,大家的演讲主题都在围绕着IPFS转。如此看来,IPFS的吸引力远未消沉。虚拟物资的王者无疑就是区块链,这是目前IPFS繁荣生态的源头。

 

同样被带动的则是整个去中心化的概念及技术。这股浪潮已经席卷了支撑当前互联网访问的HTTP协议。HTTP是个典型的中心化访问协议,数据存储在固定位置的服务器上,大量分散的终端电脑通过HTTP访问这些数据,网页一旦被删,或者服务器宕机,就会404。另外,就算你的邻居也在访问或者已经下载了某个数据,你也不能去他电脑上通过局域网拿到数据,还是要去中心服务器上访问。整个互联网,南北向流量太大,资源被少数中心节点集中和掌控着,而大量终端之间却基本没有数据交互,实际上,这些终端之间完全有数据通路,小到企业内网的最后一层交换机,大到运营商的交换机,这些交换带宽都被浪费掉了。

 

我还记得20年前,bt下载刚刚兴起,用的就是p2p技术,利用东西向闲置带宽,避免了主服务器带宽压力,终端流量也上来了。当年冬瓜哥还在大学宿舍呆着呢,那时候真是个网络开放的时代。在当时的一些软件里可以随便浏览其他人共享出来的内容,自己也可以共享资源,当看到自己的上行流量突然增加时,表示有人对自己的资源感兴趣了,很兴奋,而且毫不在意对硬盘的损伤。

 

后来,下载工具和视频点播软件的兴起,也都是利用了p2p技术,只不过它们只是局限在下载和点播,而IPFS(Inter Planarity File System)星际文件系统的出场,雄心勃勃,是直接冲着颠覆整个互联网访问架构去的。去中心化、p2p、Hash内容寻址、分布式数据冗余,构成了IPFS分布式文件系统的核心。数据分散在网络上所有节点上,不再区分服务器还是终端。数据被分成很多碎片,采用校验机制生成多个校验块,也存储在多个节点上,以防止有节点掉线或者数据损坏导致的数据丢失数据。支持p2p传输,采用Hash内容寻址,上传前经过Hash特征码提取,其它节点可以根据Hash值快速定位到数据所在的位置,避免了现行的采用集中式DNS服务器来做域名和IP的一一映射查表方式的低效率。 

IPFS并不是像NTFS,FAT32这种本地文件系统,它管理的不是“哪个文件在硬盘的哪些扇区上”,而是管理“哪个文件在互联网上的哪个节点上”,以及对应的访问和管理协议,它本质上是一个分布式文件系统,而且是开源的,由Protocol Labs主导开发。

 

任何颠覆性的东西,都面临着巨大的阻力,主要是技术上的阻力。分布式和P2P的一个前提是规模要足够大,参与积极性要足够高,节点只下载不上传是玩不起来的。比如之前就有企业试水过p2p方式来降低中心服务器网络压力,结果用户不买账,因为浪费了上传带宽和硬盘寿命,影响了硬盘本地I/O性能。另外,数据需要存储介质,大量数据需要大量在线的硬盘容量支撑,谁来提供这些容量?

 

同时,对于IPFS,也需要一个激励机制来让用户贡献带宽、存储空间和算力,除了可以用GPU,平时也可以共享自己的存储空间,这就拓展了之前只能拼算力的局限,拼带宽、拼存储空间也可以获得奖励。

 

因此,IPFS的兴起直接带动了存储,尤其是分布式存储系统硬件的出货量。如果说激励机制是肥,那么存储介质就是土。在西部数据提供的市场数据中可以看到,IPFS服务商所使用的硬盘容量从8TB升级到18TB只用了1年,而传统云服务商的这个过程用了4年。

 

 

按理说,硬盘厂商只需要坐等订货就完了,实际上,IT大厂能在市场上叱诧风云几十年,不仅需要主动跟上潮流,还得去引领潮流。西部数据作为一家老牌硬盘与存储解决方案提供商,自然敏锐地觉察到了IPFS生态的兴起,并推出了一系列的方案,以及积极地联合生态链伙伴,共同参与到IPFS生态当中。

 

 

西部数据经过周全的考察和计算,力推用户从14TB容量点升级到18TB,能大幅降低TCO。西部数据公司副总裁兼中国区业务总经理刘钢在峰会上表示:“首先在IPFS层面,‘存算分离’已经是共识了。在计算集群里面,西部数据数据有7.68T的SSD,在存储集群里面,我们推荐用18T的高密度硬盘,当用4U60+18T这种配置,与原来传统的4U36+16T配置相比,机柜数减少了约46%,功耗减少了大约36%,大规模地降低了部署成本和运维成本。”

 

 

对于用户需要能够快速访问数据的快数据,像热存储、温存储,有两类SSD,一类是主流的SSD,还有一类是针对写密集、计算密集的高性能SSD。西部数据Ultrastar DC SN840 NVMe SSD和Ultrastar DC SN640 NVMe SSD针对IPFS场景,尤其是针对定制的小机箱服务器,4个7.68T的SSD能提供非常好的加速。

 

此外,西部数据积极联手生态伙伴,与星辰天合(XSKY)和浪潮联合推出了IPFS解决方案,与4U36服务器+14T HDD方案相比,4U36+18T HDD方案能够节省22%的机柜占用空间。在与杉岩数据的联合方案中,能够将服务器节点部署量降低到原有的47%,并能够降低36%的功耗。

 

此外,长城超云不仅在存储集群里面使用了西部数据的产品,同时在计算集群里面也使用了西部数据Ultrastar DC SN640 NVMe SSD来提高封装的效率,获得更高的性能和非常稳定的运行。 

 

灵动是一家IPFS分布式存储服务器制造商,也是西部数据的生态伙伴之一。灵动也在计算机群和存储机群里面采用了针对快数据的存储方案和针对大数据的存储方案——西部数据的NVMe SSD和18T的高密度硬盘。

 

 

看到西部数据如此积极地参与布局IPFS生态,我对IPFS未来的发展应该还是非常看好的,毕竟它代表了互联网后续的发展潮流,也遵循了从集中式走向分布式的宏观潮流。虽然IPFS将不可避免地面临来自各方面阻力,但将来也会越来越像科幻电影里描述的那样,成为一个虚拟社会,并同样衍生出集中式和分布式架构,大势不可挡。

 

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值