企业级存储详解与存储资源盘活

从集中到分布再到盘活:存储系统的发展方向 随着数字经济的飞速发展,各行各业都需要储存、提取、使用大量信息,伴随着新业务模式的到来, 数字系统的后台应用及平台也在面临着从传统架构向新型分布式架构变迁的过程。业务越集中, 对IT技术平台的分布式架构要求越高。后端软件从集中式架构向分布式架构的转型越来越迫切。从另一个角度来看, 越来越多非结构化数据、影音图像数据、地理位置信息逐渐被采集与归档。在人工智能与深度学习进一步发展之后, 针对这些非结构化数据进行的加工与分析, 会成为下一代信息革命的关键之一。以金融行业为例,大部分银行都已建设了完整的影像平台, 阅读详情

近年来,云计算、大数据、人工智能、物联网等信息技术与产业快速发展,信息技术与传统产业的融合也不断加深,快速发展的数字经济已经成为我国产业转型升级和经济高质量发展的重要驱动因素。数据是数字经济的重要基础组成,信息技术也围绕数据的生产、加工、应用而展开。当前,企业和用户无时无刻都在产生大量的数据,数据中心等信息基础设施也在实时地存储和计算各类数据,网上购物、电子支付、工业互联网等数据应用场景更是随处可见。据IDC 预测,到 2025 年全球数据量将达到 163ZB,相当于 2016 年 16.1ZB 数据量的十倍。当前,数据的快速、高效、安全存储已经成为业界关注的焦点。

在冯·诺依曼体系结构中,存储主要由 CPU 寄存器、静态随机存取存储器(Static Random-Access Memory,SRAM)、动态随机存取存储器(Dynamic Random Access Memory,DRAM)、本地二级存储(HDD、SSD)以及由 DAS、NAS、SAN、分布式存储等组成的外部存储组成。从存储介质的角度进行划分,企业级存储可以划分为磁性存储、半导体存储、光学存储三大类,各类存储的详细信息如下。

(1)半导体存储:利用半导体特性完成存储,主要包括 SSD,相对于磁性存储和光学存储,半导体存储在读写速度、设备体积等方面优势明显,是当前整个存储产业发展的重点。

(2)磁性存储:利用磁性介质进行数据存储,主要包括机械硬盘、磁带、软盘等,机械硬盘一直以来都是企业级存储的重要选择,目前仍占据较大的市场份额。

(3)光学存储:利用光学特性进行数据的存储,主要包括 CD、DVD 等,当前蓝光存储以其大容量、高可靠的特性,成为温冷数据存储的选择方案之一。

从架构来分,企业存储可分为集中式存储与分布式存储。集中式存储包括以下类型。

(1) 直 接 附 加 存 储(Direct Attached Storage,简称 DAS)是一种以服务器为中心的系统,其通过服务器与存储设备相连,并采用 SCSI 等方式进行存储功能的应用,系统简单、建设成本低、配置便捷是其优势,而扩展性和可维护性差、故障影响大则是其不足。

(2) 网 络 附 加 存 储(Network Attached Storage,简称 NAS)通过标准的网络将存储和应用服务器相连,相对于直接附加存储,网络附加存储的存储设备上具有存储管理系统。网络附加存储在扩展性、管理性等方面具有优势,但也存在文件访问速度慢、局域网资源占用大等弊端。

(3)存储区域网络(Storage Area Network,简称 SAN)通过一个或多个网络设备所构建的专用网络将存储连接起来,两种典型的形式分别是基于光纤的 FC-SAN 和基于 IP 的 IP-SAN。存储区域网络在系统性能、扩展性等方面具有较好的优势,但其专用网络的建设和维护成本较高。

除集中式存储外,近年来分布式存储也发展较快。分布式存储不需要专用的存储设备,利用普通的服务器即可完成,其通过网络连接多个服务器节点,在逻辑上形成一个存储整体,统一对外提供服务。相对于专用设备,分布式存储单节点性能有所下降,但其面对海量数据存储时,在价格、性能等方面也拥有较好的表现。分布式存储又可以细分为分布式文件、分布式块和分布式对象存储,包括 HDSF、GlusterFS、Ceph、HBlock 等产品。

分布式存储最早是由谷歌提出的,其目的是通过廉价的服务器来提供使用与大规模,高并发场景下的 Web 访问问题。它采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。分布式存储的兴起与互联网的发展密不可分,互联网公司由于其数据量大而资本积累少,而通常都使用大规模分布式存储系统。与传统的高端服务器、高端存储器和高端处理器不同的是,互联网公司的分布式存储系统由数量众多的、低成本和高性价比的普通 PC 服务器通过网络连接而成。其主要原因有以下三点。

(1) 互联网的业务发展很快,而且注意成本消耗,这就使得存储系统不能依靠传统的纵向扩展的方式,即先买小型机,不够时再买中型机,甚至大型机。互联网后端的分布式系统要求支持横向扩展,即通过增加普通 PC 服务器来提高系统的整体处理能力。

(2) 普通 PC 服务器性价比高,故障率也高,需要在软件层面实现自动容错,保证数据的一致性。

(3) 随着服务器的不断加入,需要能够在软件层面实现自动负载均衡,使得系统的处理能力得到线性扩展。

随着存储行业的不断发展,存储高级功能逐渐开始普及,各种高端存储产品所具有的软件功能开始在中低端存储产品上出现,基于x86的标准化硬件逐步替代专用硬件,进而一统存储市场,这使得“软件”成为各存储厂商的核心竞争点。从本质上讲,存储本身就是一个软件行业。随着数据存储量的增大,也必然将由硬件提供的弹性向着由软件代替硬件提供弹性的方向发展,意味着专用存储硬件必然被商用硬件所替代。这就注定了“软件定义存储”是存储行业发展的必然趋势。

软件定义存储的核心在于,用软件解决原先由硬件解决的(弹性)问题,例如EMC所发布的ViPR,与其存储阵列所组成的解决方案则可称之为软件定义存储。通过将存储阵列的控制权上交给ViPR进行统一的管理和分配,在与商用硬件组合时,利用ScaleIO为商用硬件提供存储高级功能,以此补足ViPR只有控制平面缺乏数据平面的“不足”。

存储资源盘活系统正是具备了上述软件定义存储与分布式存储的优点,不独占硬件资源,可与现有应用混合部署在同一套硬件设备上,不影响现有业务的运行的同时将闲置存储资源予以整合,帮用户把现有服务器集群中存储资源利用率不高的设备进行统一管理,形成统一存储资源池。通过标准 iSCSI 协议为上层应用提供虚拟 Target 和逻辑卷,可被灵活调度、分配、使用。简单来说就是挑出磁盘中的“闲人”,将其改造成“精兵”向上方提供,节约了购买新硬件的成本,以同样的能源消耗带来更多的服务价值。允许用户在空间利用率、性能和可靠性之间灵活选择,用户甚至能够为不同的卷指定不同的EC策略,降低存储成本和网络开销。

参考资料:

袁宏伟 . 数字经济与实体经济深度融合 [J]. 企业管理 , 2020,461(01):27-28.

顾勤 . 面向大数据的分布式存储技术研究 [J]. 无线互联科技 , 2020, 187(15):159-160.

从技术架构角度分析存储系统的发展方向 现有的存储系统经过长期发展,种类及其繁多,架构也各不相同,按照从底层到上层的思路,大致可以分为:物理层、协议层、架构层、连接层四个层次。接下来我们由下往上详细分析。 物理层:顾名思义,就是用来存储数据的各种设备。企业级存储中的存储介质包括机械磁盘(HDD)、固态硬盘(SSD)、磁带(TAPE)、光盘(Optical Disk)等,其中最常见的是以HDD和SSD为介质的存储系统。从存储介质的维度进行分类,存储系统可分为磁盘存储、全闪存储、混闪存储、磁带库、光盘库等。 协议层:在各种物理介质内,数据统一抽象 阅读详情

相关推荐

数据库decimal类型详解:精度、标度与金额计算避坑指南

在关系型数据库中,浮点数精度丢失是常见问题,尤其涉及金额计算时,一分钱误差都可能导致对账失败。decimal类型通过十进制存储方式,将小数当作定点数处理,避免了二进制转换误差,确保运算结果精确。其核心在于精度和标度的合理定义,以及运算舍入规则的控制。在电商订单、汇率转换、税务计算等场景中,decimal是保障数据准确性的关键技术。理解其存储原理和实操细节,能有效规避隐式转换、聚合函数精度等常见坑点,提升系统可靠性。

weixin_32050773的博客 272

企业分布式存储

分布存储 1.分布存储概述 1.1 存储分类: 开源与商业: 商业存储: 一套硬件设备40w左右 (商业解决方案-EMC、NetAPP、戴尔、华为、浪潮) 开源存储:前期准备(服务器,稳定性,可用性,后期维护成本、人员、设备维护,分布式存储:Ceph,TFS,FastDFS,MogileFS,MooseFS,GlusterFS) 单机存储: SCSI/SAS/USB/PCI-E、SSD/NVME(提升性能) 网络存储(带文件系统): NFS/Samba/NAS SAN:SAN(Storag

dingshun129的博客 1994

setup time和hold time的计算

内容仅仅为了方便记忆,与原理无关

sddhyl的博客 7816

详解 GFS分布式文件系统 (条带卷/复制卷/分布式条带卷/分布式复制卷)

GFS分布式文件系统一.GlusterFS概述1.GlusterFS简介2.GlusterFS特点3. GlusterFS术语4.模块化堆栈式架构5. GlusterFS 工作流程6.弹性HASH算法7. GlusterFs的卷类型二. 部署GlusterFs 群集 一.GlusterFS概述 1.GlusterFS简介 ① GlusterFS是一-个开源的分布式文件系统。 由存储服务器、客户端以及NFS/Samba存储网关(可选,根据需要选择使用)组成。 没有元数据服务器组件,这有助于提升整个系统的性能、

穷则独善其身 达则兼善天下 1792

线性代数学习笔记(十)——矩阵运算(二)

本篇笔记讲解矩阵的幂运算和矩阵的转置,其中矩阵进行幂运算的前提是矩阵为方阵,矩阵幂运算的两条性质与数的幂运算规则类似;矩阵转置的定义与行列式转置类似,但要注意由于矩阵的行数和列数不同,所以转置之后行数和列数变换。

li2008kui的专栏 1万+

出个AI8051U的PWM例程 | 3相互补SPWM变频驱动,PWMA-3个相位差120度的PWM互补输出

通道2输出: P2.2, PWMA2P输出, P2.3, PWMA2N输出, PWMA2相对PWMA1滞后120度相位.通道3输出: P2.4, PWMA3P输出, P2.5, PWMA3N输出, PWMA3相对PWMA1滞后240度相位.先别修改程序, 直接下载"Objects"里的"pwm.hex"测试, 下载时选择主频24MHz.主频32.768MHz, PWM周期1422, 刷新频率23040Hz,死区0.5us,通道1输出: P2.0, PWMA1P输出, P2.1, PWMA1N输出。

USB_CAN_8051的博客 691

什么是企业云存储

企业云存储是从云服务提供商处购买的数据存储。企业无需管理自己的非现场服务器或集中式存储库,而是可以将数据上传到由云服务提供商维护并通过互联网访问的服务器。企业云存储可能跨越多个服务器或数据中心位置,云服务提供商负责维护存储硬件的可用性和安全性。通过将数据存储在异地企业云存储中,组织可以更轻松地保护数据免受现场灾难和中断的影响,并为企业数据存储增加更大的冗余。公共存储,企业云存储提供商为企业数据提供完整的异地存储和管理。私有存储,云存储提供商在组织的数据中心内工作。

柚橙论 658

AM驱动架构—优质Mini-LED显示技术解决方案

(VR)和增强现实(AR)设备:MiniLED背光驱动方案适用于虚拟现实和增强现实设备中的显示技术,通过高亮度和高对比度的显示效果,创造更逼真的虚拟体验此外,MiniLED背光还能够实现更快的响应速度,减少图像残影,使得用户的动作在虚拟环境中更加流畅自然。以其出色的性能和广泛的应用前景备受关注是实现MiniLED显示效果的重要环节。1)更高的亮度和对比度:尺寸更小,可以在同样面积的显示屏上配置更多的LED,并且通过独立控制每一个MiniLED,可以实现更高的亮度和更细致的对比度,使得显示画面更加鲜明清晰。

isweekDN的博客 2763

分布式存储厂商分析

IDC 给出的统计数据表明:2021年中国存储市场规模为42.9亿美元,其中,软件定义存储14亿美元,占比 26.1%;超融合为12亿美元,占比 20.3%。

渡江客涂鸦板 5353

IsaacLab从入门到精通(二) 导入自定义机器人

IsaacLab系列第二讲,导入自定义的机器人及设置

DejaWu33的博客 8466

芒果YOLOv5改进05:损失函数IoU 篇之Repulsion Loss:原创改进损失函数 Repulsion:解决目标遮挡场景下检测,为解决密集人群检测中遮挡设计的损失函数,打造高效检测器涨点

YOLOv5改进代码实践|结合Repulsion 解决目标遮挡场景下检测🚀

包括YOLOv5、YOLOv7、YOLOv8等模型改进 4565

企业数据存储的三种方式 DAS、NAS和SAN

DAS、NAS和SAN 对于一个企业来说,网络数据的安全性是极为重要的,一旦重要的数据被破坏或丢失,就会对企业造成重大的影响,甚至是难以弥补的损失。通常企业数据存储包括三种方式:DAS、NAS和SAN。本文主要为读者详细介绍这三种数据存储方式以及如何根据企业自身的实际情况选择合适的数据存储方式。   认识企业数据存储的三种方式:DAS、NAS和SAN  在企业刚刚建立初期,...

weixin_33694172的博客 1720

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

天翼云存储资源盘活系统 HBlock:企业级轻量存储的革新与实战

在数字化转型的浪潮中,数据存储作为支撑企业业务连续性和数据安全的基石,企业对于存储资源的需求日益增长,同时也面临着成本控制和资源优化的双重挑战,尤其是近两年行业整合和技术圈被AI的颠覆性影响双重影响下,持续性降本增效成为企业的首要任务。

全沾软贱开发攻城狮 12万+

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

Hblock盘活企业级存储市场

我国行业机构数据总量逐年上升,由此带动了企业级数据存储市场。IDC预计到2025年,企业级数据圈份额将超过消费者数据圈,企业级数据存储市场将得到进一步发展。(数据圈:(每年被创建、采集或是复制的数据集合))据IDC的预测,2020-2024年中国企业级存储市场将保持7.16%的年复合增长率,到2024年中国企业级存储市场空间将达到65.9亿美元。...

SDSHBlock的博客 1148

0.4元/TB/月!天翼云HBlock打响软件定义存储价格战

HBlock以0.1折的惊爆价向传统存储宣战——我们让用户以最低的投入,换取最高的存储性能和可靠性,以1杯咖啡的价格,解锁企业存储的答案!

天翼云开发者社区 1329

核心技术无捷径,存储界的Docker,他们把轻量做到了极致!

分布式存储经过多年的发展,已经逐步形成了成熟的技术体系。现阶段的创新大多是基于已有技术进行细微改进,往往不足以被称为“突破性创新”。不过,最近天翼云存储资源盘活系统 HBlock 异军突起,引起了很多人的关注。有人说它是存储界的 Docker,把轻量做到了极致;也有人说它是一个分布式块存储引擎。天翼云存储资源盘活系统 HBlock本质上更像是一个软件定义的存储集群控制器,只不过它把易用性、灵活性...

优快云资讯 885

破局创新,天翼云HBlock如何以小见大、以柔克刚?

在本地私有云存储方面,针对高性能计算场景,HBlock可与分布式并行文件系统Lustre在通用服务器上混合部署,无需购买昂贵的集中式磁盘阵列和IB网络,采用全闪存储服务器和以太网,HBlock就可提供数十GBps吞吐,支持在线扩容,可快速实现线性增长,在容量与性能诉求上得以很好的满足,真正实现“一机两用、资源共享、科学共存”。然而,天翼云对于HBlock也寄予了创新的期望,它不仅要突破数据存储的瓶颈,还得让易部署与易运维的用户体验成为优势,同时进一步丰富企业级存储能力,不断增强HBlock的核心竞争力。

阿明观察 1100

企业级NAS建设方案

我司目前员工规模在 100 人以内。随着公司业务的快速发展,技术研发、产品运营及日常管理中所产生的内部资产资料急剧增加,企业内部资料的集中管理、权限划分与高效流转需求日益凸显。为了打破数据孤岛,提升团队协同效率,我司计划搭建一套企业级 NAS(网络附加存储)系统。该系统本质上是一台专用于数据集中管理与共享的私有云服务器,旨在实现内部资料的统一存储、精细化安全共享,支持多终端随时随地的高效访问,并为公司未来的 AI 训练与智能体应用提供稳定、高效的数据底座。

左直拳的马桶_日用桶 460

IBM专家观点:假如DeepSeek们使用了IBM AI存储

通过和全球 AI 技术领导者的合作,IBM 将持续创新,提供现代化、开放、安全的数据基础架构,助力客户在 AI 时代解锁更多商业价值。:IBM 的全局数据平台可以实现存储抽象和加速能力,将企业分布的数据整合为统一的数据资源,实现自动化的数据加速和透明的远程数据访问,全局访问位于磁带、云或现有存储资源上的数据来帮助消除数据孤岛;:伴随数据量的不断增大,企业需要消除数据孤岛,实现数据生命周期管理,用更低的成本实现更高性能的数据访问和更大容量的数据保留,通过智能化的数据分层降低总体开销;

Frank091800的博客 695

高性能智算网关打通 GPU 集群与 AI 存储高速链路,硬件成本直降 95%

在企业级智算需求持续爆发的当下,能否平衡「高性能通信」与「低成本建设」,已成为企业在 AI 竞争中建立优势的关键。高性能智算网关通过 「复用现有 VPC + 硬件转发卸载」 的创新思路,将智算场景流量特征深度融入技术架构,既解决了计算 - 存储跨区通信的性能瓶颈,又实现了成本的量级化降低。

2301_82040283的博客 609

引领柔性服务新时代 赛特斯使能柔创未来

“2016世界移动大会”日前在上海成功举办。作为柔性技术与柔性服务理念的开创者、践行者,赛特斯围绕“柔创未来”这一主题,携赛特斯柔性网络、柔性云系列产品精彩亮相,传递赛特斯柔性服务理念。期间,赛特斯云计算产品线总监林强就柔性云服务、赛云解决方案等接受记者专访。 超融合一体机实现“开箱即云” 随着“互联网+”战略深入推进,互联网经济蓬勃发展,在大数据、物...

weixin_34221073的博客 206

基于springboot+vue的社区资源共享系统设计与实现源码文档部署文档代码讲解等

本课题聚焦社区资源闲置浪费、共享对接效率低、资源管理不规范、邻里互动不足的痛点,设计实现基于 SpringBoot+Vue 的社区资源共享系统。系统后端以 SpringBoot 为核心框架,整合 MyBatis-Plus 实现 MySQL 数据库高效交互,通过 Spring Security 结合 RBAC 完成管理员、社区网格员、居民多角色权限管控;前端基于 Vue 搭配 Element UI 搭建响应式交互界面,实现前后端分离架构。核心功能涵盖资源管理(闲置物品、工具、场地、技能等资源发布、审核、分类标

全网计算机/大数据辅导(自媒体)道祖第一人、全网粉丝100W+,专注于Java/python/大数据/微信小程序项目实战开发,以及产品测评宣传、工具推广等合作 726

国内首部《中国CDM技术及市场应用白皮书》发布

日前,由上讯信息与中桥咨询联合打造的国内首部《中国CDM技术及市场应用白皮书》(以下简称“《白皮书》”)正式发布。《白皮书》指出,数字经济需要新一代功能多元化、部署智能化,以及自动化、智能、全流程数据安全的数据管理平台。这一平台可通过有效的数据管理流程,降低数据环境搭建对人员、存储、带宽资源的消耗;以精细化的数据管理,满足敏捷测试、开发、审计和品控,以及事件分析的需求,以及保证各种业务场景下数据的安全合规。 数据管理五大挑战 以数据为驱动的全新数字化服务模式正快速推动企业的数字化转型,以及推动新产业、新

xhwuli的专栏 4

遇见AI未来:中科通量SmarCo系列产品亮相全球数字贸易博览会

在AI交互方面,SmarCo AI数字员工是一套面向线下服务场景的AI数字员工解决方案,由数字人形象、企业知识、多模态交互与本地算力共同构成,可承担接待咨询、导览讲解、培训会议与内容营销等高频、标准化工作,覆盖AI大堂经理、AI培训导师、AI获客主播、AI会议助手四大场景,为营业厅、银行网点、零售展厅和企业展馆提供统一、可持续更新的智能服务体验。中科通量作为国内视频智能和AI智算领域的代表企业,受邀在2号主题展馆重磅亮相,全面展示其在视频AI、智能存储与算力领域的最新成果。

xinyuan82的博客

天翼云HBlock重磅发布快照克隆功能

在存储系统迁移方面,传统方法冗长且影响业务,HBlock快照可提供一致性数据克隆卷,用户可将克隆卷挂载到新环境中,并将克隆卷从原始卷独立出来,在不中断线上服务的前提下完成迁移,实现平滑过渡与快速切换。其二是“即时克隆,无限派生”,用户能从任意快照快速生成只读或读写卷,创建多个独立环境,避免源数据重复复制,提升数据交付效率。在技术实现上,HBlock采用ROW(Redirect-on-Write)机制,写入新数据时不复制旧数据,而是将新数据重定向至新地址,原始快照数据保持静态不变,从而提升写入效率。

Frank091800的博客 392
上一篇: Hblock盘活企业级存储市场
下一篇: 存储资源盘活系统助力新基建
存储-小白
博客等级 码龄5年 58粉丝 89原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值