从集中到分布再到盘活:存储系统的发展方向

随着数字经济的飞速发展,各行各业都需要储存、提取、使用大量信息,伴随着新业务模式的到来, 数字系统的后台应用及平台也在面临着从传统架构向新型分布式架构变迁的过程。业务越集中, 对IT技术平台的分布式架构要求越高。后端软件从集中式架构向分布式架构的转型越来越迫切。

从另一个角度来看, 越来越多非结构化数据、影音图像数据、地理位置信息逐渐被采集与归档。在人工智能与深度学习进一步发展之后, 针对这些非结构化数据进行的加工与分析, 会成为下一代信息革命的关键之一。

以金融行业为例,大部分银行都已建设了完整的影像平台, 用来集中管理非结构化数据。随着数据量的级变和大数据的发展, 企业再次提出对更多渠道来源数据的采集与归档的需求。例如, 监管机构提出对多渠道办理业务需要有录音录像可查的要求, 使金融机构的非结构化数据从数量上还是种类上都有了极大的增加。但是, 传统的非结构化数据管理系统, 不仅从数据量上, 还是从物理存储的成本上, 都已经不能满足当前的非结构化数据存储的需要。

从发展趋势上看,分布式存储方案已经为未来企业针对非结构化数据价值的挖掘, 进行原始数据的汇聚积累和分类。可控成本的分布式数据存储和基于分布式存储的非结构化数据管理系统, 便应运而生, 成为针对这类使用场景的最佳解决方案。

分布式存储最早是由谷歌提出的,其目的是通过廉价的服务器来提供使用与大规模,高并发场景下的 Web 访问问题。它采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。

分布式存储的兴起与互联网的发展密不可分,互联网公司由于其数据量大而资本积累少,而通常都使用大规模分布式存储系统。与传统的高端服务器、高端存储器和高端处理器不同的是,互联网公司的分布式存储系统由数量众多的、低成本和高性价比的普通 PC 服务器通过网络连接而成。其主要原因有以下三点(1) 互

实现上一代码所述卡板类型只有两种10G PON板卡和50G PON板卡,将一些有需求地区的10G PON板卡升级为50G PON板卡,将替换下来的10G PON板卡安装到没有安装10G PON板卡的地区,10G PON板卡有一定损耗随机在合理范围内同时实现资源调度优化验证模型:蒙特卡洛仿真 + 整数规划用途: 解决资源盘活的核心问题:“75%的复用率能否实现?”以及“如何调拨最省钱?”整合思路: 这也是一个相辅相成的组合。 o蒙特卡洛仿真 (用于可行性验证): 模拟未来24个月内,各区域对10G PON板卡的需求(设为随机变量),同时模拟从核心区拆除的板卡数量(也设为随机变量)。运行上万次,统计最终复用率的概率分布。输出结论会是:“我们有95%的信心,板卡复用率将落在72%到81%之间”,从而验证75%目标的可行性。o整数规划 (用于调度优化): 目标函数: 最小化总运输成本 或 最大化总复用价值。约束条件: 每个乡镇的需求必须被满足;每个仓库的发出量不能超过库存;变量必须是整数(因为不能运输0.5块板卡)。求解: 利用Python的优化库(如PuLP, SciPy)求解,直接给出最优调度方案:“A仓库的50块板卡应运往C乡镇,B仓库的30块板卡应运往D乡镇…”。优势: 不仅验证了“能不能行”,还给出了“怎么干最优”的具体方案,实操性极强。 构建模型
07-17
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值