东数西存场景的探索与实践

“东数西算”是通过构建数据中心、云计算、大数据一体化的新型算力网络体系,将东部算力需求有序引导到西部,对优化数据中心建设布局,提升国家整体算力水平,促进绿色发展,扩大有效投资,具有重要意义。

在实际应用过程中,冷数据占数据总量的比例约80%,对冷数据来说,主要的需求是存储,计算并不是常态,“东数西算”实际上是“东数西存”,在西部主要是数据存储,偶尔有计算需求。

东数西存存在几个问题,首先是长距离数据传输的各种不确定性。距离越远,网络延迟越高、网络质量越差,给用户的体验就会越差。因此,对于东部用户而言,西部资源池位置偏远,数据的访问体验比较差。

为了解决这个问题,可以在靠近用户的地方建立资源池,这样能解决数据访问体验差的问题,但是带来了新的问题:用户在存取数据之前需要先检索数据存储位置,这就需要一个集中式的平台,提供统一的检索能力,当用户需要访问数据时,先从平台获得存取位置,然后再向目的资源池发起读写请求。显然,这不仅会增加延迟损耗,也增加了平台维护成本。

其次就是资源竞争导致的体验问题。东部业务场景比较复杂,大部分数据存储在西部几个资源池中,大量请求同时访问会出现资源竞争,进而出现网络丢包、访问延迟等不可控因素,对于有些金融、医疗等对数据安全性与精密性较高的行业,这种不可控因素是不能容忍的。

为了解决以上问题,并完成东数西存场景的探索与落地,有人提出了一个新的概念叫做“内容存储网络”(Content Storage Network,简称CSN)。

内容存储网络(CSN)是与内容分发网络(CDN)相对应的概念。CDN是在终端和中心之间的缓存,在让终端更快获取数据的同时,减轻中心的压力。如果说,CDN是一种为下而生的网络服务,那么,CSN就是为上而生的网络服务,帮助用户总是能够就近存储数据,同时可以从任何资源池读到数据,而且保证强一致性,目前已经实现了CSN并进行了大规模商用的产品有OOS。

CSN构建在现有网络基础、运营商专线之上的存储网络,依靠部署在全国各地的资源池,通过底层文件系统、分布式存储引擎,上层协议,负载调度、管理监控平台等功能模块,使用户就近写入的数据可以即时在任何一个资源池读到。对用户实现强一致性、低延迟和高效调度,对运营商实现优化资源

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值