分布式存储系统不能用刀片服务器,论坛问题精选 – 主流超融合厂商分布式存储系统对比，各有什么优缺点...

论坛问题精选：

超融合主流厂商的存储系统如Nutanix 、VSAN 、Cisco HyperFlex、 Microsoft S2d，都使用了各自的分布式存储，请教他们都有什么优缺点。

答复：

从自主研发的角度，目前，国内市场主流的超融合厂商包括 Nutanix，SmartX，VMware，华为等，除了产品功能特性上的不同，其分布式存储的实现各有特点，我们主要分析一下这些分布式厂商的分布式存储产品的主要的架构和优缺点：

一、Nutanix：

通过构建分布式文件系统 NDFS，实现 X86 服务器本地硬盘(SSD+HDD)资源池化，利用副本技术进行数据保护；通过开源 NOSQL 分布式数据库 Cassandra 进行管理，元数据节点中记录了集群所有节点本地磁盘资源的信息，所以，超融合集群在分配副本的时候，可以选择数据副本的存放位置，从而实现数据保存的本地化以及 IO 访问本地化，此外，SSD 作为缓存，可以进行 IO 读写加速。

优势：

因分布式块存储中存在元数据节点，使得超融合集群中的资源调配可以做到更加细粒度、更加精确的控制。这种控制的优势一方面体现在性能方面，另一方面体现在集群的灵活性，如副本分配策略的调整，以及节点间数据平衡的发生条件控制等。

架构灵活，开放性好，在超融合系统中分布式块存储组件与计算虚拟化组件不是紧耦合的关系，分布式存储组件可以支持多种虚拟化平台。

支持双活及容灾的高级数据保护特性。

支持超融合和分离式部署。

不足之处:元数据管理组件为开源 NOSQL 分布式数据库 Cassandra，该组件相对复杂，出现问题维护难度较高。

二、SmartX

国产品牌，SmartX 分布式存储技术实现与 Nutanix 类似，属于一个流派。不同的是，SmartX 没有基于 EXT4 进行磁盘管理，而是自主研发了一套分布式文件系统 LSM，直接基于裸盘管理，实现 X86 服务器本地硬盘(SSD+HDD)资源池化，利用副本技术进行数据保护；通过自主研发的元数据组件进行管理，元数据记录了集群所有节点本地磁盘资源的信息，所以，超融合集群在分配副本的时候，可以选择数据副本的存放位置，从而实现数据保存的本地化以及 IO 访问本地化，此外，SSD 作为缓存，可以进行 IO 读写加速。

架构优势：

因分布式块存储中存在元数据节点，使得超融合集群中的资源调配可以做到更加细粒度、更加精确的控制。这种控制的优势一方面体现在性能方面，另一方面体现在集群的灵活性，如副本分配策略的调整，以及节点间数据平衡的发生条件控制等。

虚拟化平台开放性好，在超融合系统中分布式块存储组件与计算虚拟化组件不是紧耦合的关系，分布式存储组件可以支持 VMware，KVM 以及 XenServer 多种虚拟化平台。

硬件平台兼容性好，支持华为，浪潮，HPE，联想，H3C，dell，超微等多种 X86 服务器品牌，超过 20 款硬件型号。

性能高，支持 Oracle 数据库等关键应用：利用 IO 本地化以及SSD缓存加速，有效地满足 Oracle 数据库等关键应用场景下对高 IOPS 和低延迟的需求。

不足之处：暂时不支持 Hyper-V 虚拟化平台。

三、VMware

基于对象实现服务器本地硬盘的管理，对象指的是一个独立的存储块设备。对象取代 LUN 成了 VSAN 的主要存储单元。在 VSAN 中最典型的对象就是 VMDK、虚拟机交换文件、增量盘(快照)和虚拟机名字空间。数据的相关元数据信息也存放在对象中，对象的高可用通过网络 RAID 的方式进行保护。

架构优势：

支持 vasa，vvol 等 VMware vsphere 特性；

部署简单，内嵌 ESXi 安装；

支持双活及容灾的高级数据保护特性。

不足之处：

vSan 与 ESXi 紧耦合，vSAN 与 ESXi 版本兼容不佳，经常因为 vSAN 的更新逼迫整体升级 ESXi 和 vCenter 版本。

vSAN 配置和管理依赖 vCenter，没有独立管理界面。如果 vCenter 放在 vSAN 上运行的话，部署比较复杂，以及后续运维也非常不方便。

vSAN 有磁盘组概念，在混闪场景下，每个磁盘组至少以及只能够配置一块 SSD，多个磁盘组不能共享 SSD，并且 SSD 没有冗余保障，1块 SSD 故障，整个磁盘组失效。

集群资源利用率不高于 70%，在高集群利用率下，性能下降明显。

只支持 VMware 虚拟化，不支持对外提供存储服务。

快照限制，虚拟机快照不能多于 32 个快照，否则性能有极大降低。

VSAN 是内置在 vSphere kernel 层，VSAN 对硬件兼容性要求更高。

四、华为

FusionStorage，类 Ceph 架构，采用对象的方式实现服务器本地硬盘的资源池化，利用副本技术进行数据保护；元数据采用对称式架构，通过 DHT 分布式哈希环的机制进行集群节点和硬盘资源的管理，没有集中的元数据节点，超融合集群可以在分配副本的时候，是通过哈希计算的方式来确定数据副本的存放位置，无法做到数据保存的本地化以及 IO 访问本地化。SSD 作为缓存，可以进行 IO 读写加速。

架构优势：

支持 infiniband 网络；

支持分离式部署(绝大部分都是这个方式)，通过 iscsi 接口支持主流 Windows 和 Linux 操作系统以及虚拟化软件；

支持双活及容灾的高级数据保护特性。

不足之处：

部署架构复杂，使用刀片式机箱，集成交换机，存储节点，计算节点等，有单点故障风险。

同一集群对服务器配置要求比较苛刻，不支持异构节点。

存储服务消耗大量的计算资源；48GB 内存以上，具体需要取决于硬盘数量。

数据分配和管理基于 CRUSH 和 一致性哈希，VM 数据分散在整个网络，I/O 延时增加且加重网络压力。

块服务 RDB 基于底层的对象存储，I/O 路径长。

性能不稳定，集群拓扑变化(磁盘故障，节点故障或添加节点)或者数据清洗时，性能出现抖动。