分布式存储性能跃迁指南：RoCE无损网络设计与优化

最新推荐文章于 2025-08-12 03:12:33 发布
原创 最新推荐文章于 2025-08-12 03:12:33 发布 · 680 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#分布式存储 #RoCE #无损

随着全球数据量爆发式增长，传统存储架构在扩展性、成本效益和性能上面临严峻挑战，分布式存储凭借弹性扩展、高吞吐和软硬件解耦的优势，正成为企业数字化转型的核心基础设施。

本文深度解析分布式存储网络的最优实践，助力企业构建面向未来的数据基座。

存储架构变革：从集中式到分布式的必然演进

传统集中式存储：稳定但受限

专为金融、医疗等关键业务设计，具备毫秒级低时延和强一致性优势，但扩展性受控制器性能制约，难以支撑PB级数据洪流。

分布式存储：云时代的答案

通过软件定义将标准化服务器本地硬盘池化，实现线性扩展至EB级容量，性能随节点增长而提升，硬件成本降低50%+

全闪存时代，传统TCP/IP网络已成为性能天花板，RDMA技术成破局关键！

RDMA网络：分布式存储的高速公路

为何选择RoCEv2？

  • InfiniBand：性能王者但需封闭生态，成本高昂
  • RoCEv2：​以太网零改造实现90% IB性能，兼容现有数据中心网络
最低0.47元/天 解锁文章
​​13.2 分布式存储与PCIe RoCE协议结合：AI计算中的带宽与延迟优化​
amy_mhd的博客
07-26 75
本文探讨了分布式存储与PCIeRoCE协议结合优化AI计算性能的方案。通过架构设计（PCIeRoCE协议栈解析、分布式存储升级、硬件适配）、性能优化（零拷贝传输、协议协同、存储协议融合）等维度，实现了微秒级延迟和1.6Tbps高带宽。实际案例显示，该方案使存储带宽提升8倍、GPU利用率提升32%，解决了传统TCP/IP网络的性能瓶颈。尽管面临协议兼容性和成本挑战，但随着PCIe7.0和CXL3.0发展，未来有望实现2TB/s带宽，为AI大模型训练提供更强支撑。
边缘计算的利器 — 进击的无损网络
SDNLAB的专栏
03-22 2035
作者简介：王俊杰 盛科网络 系统工程师 专注在无损网络和边缘计算 1 无损网络从哪说起 1.1 名词介绍 1.2 网络发展与挑战 伴随着移动互联网的发展，每年新增的网络流量达到ZB量级。基于网络承载的业务对于转发性能提出了更高的要求。从网络流量的类型来看，可以简单划分为：计算流量，存储流量，业务数据流量。在回顾这些年数据中心的计算和存储技术的发展时，我们发现存储介质已从机械硬盘...
【RDMA】无损网络 RoCE v2
tyzyumi的专栏
01-18 1365
QoS是一种机制，它给一个网络流赋予一个优先级，并且管理它的最低需求(guarantees)，极限能力(limitations)和它相比其他网络流的优先级服务。这是通过一个2/3阶段的过程将用户层的优先级映射到一个硬件层流量类(hardware Traffic Class)上实现的。流量类（traffic class）被赋予QoS属性(缓存分配，流控制，排队，调度，随机早期检测，显式拥塞通知等等)，并且不同的流按照这些对应的属性被服务。
RDMA之无损网络
咸鱼弟的博客
09-16 2328
1、why 为什么我们需要RDMA？ 为什么我们需要无损网络？ 这些先进的技术究竟能给我们带来什么好处? 只从网络层面来看可能无法得出令人满意的答案，下面分别从前端业务和后端应用，简单列举几个例子，相信大家可以从中解开疑惑。 当今互联网中大量的在线业务，例如在线搜索、购物、直播等，它需要以非常快的速度对高频率的用户请求做出应答，数据中心内任何一个环节导致延迟，都会对终端用户的访问体验造成极大的影响，从而影响其流量、口碑、活跃用户等。还有在机器学习和AI的技术趋势下，对计算能力的需求是呈几何级数上升
华为配置智能无损网络综合
专研计算机网络，数据通信，网络安全，系统集成
05-13 2536
配置智能无损网络综合示例适用产品和版本安装了P系列单板的CE16800、CE6866、CE6866K、CE8851-32CQ8DQ-P、CE8851K系列交换机V300R020C00或更高版本。安装了SAN系列单板的CE16800、CE6860-SAN、CE8850-SAN系列交换机V300R020C10或更高版本。CE6860-HAM、CE8850-HAM系列交换机V300R022C00或更高版本。
【数据中心网络】Roce网络
weixin_49199313的博客
08-12 1963
​​冷迁移优先​​：在业务低谷期执行比例调整，避免高峰流量冲击。​​硬件冗余设计​​：采用​​双网卡绑定（Active-Backup）​​，迁移时切换备用网卡承载流量。​​协议栈兼容性​​：部署​​作为过渡层，兼容老旧节点，避免硬中断。​​PFC风暴预防​​：配置​​PFC死锁检测​​（如Mellanox Storm Control），限制反压帧频率。通过上述策略，企业可在调整RoCE/IB比例时实现​​业务零感知、性能零抖动​​。
基于PFC和ECN搭建无损RoCE网络的工作流程分析
hello world
08-03 2282
RDMA（Remote Direct Memory Access，远程直接内存访问）是一种为了解决网络传输中服务器端数据处理延迟而产生的技术。RDMA 将用户应用中的数据直接传入服务器的存储区，通过网络将数据从一个系统快速传输到远程系统的存储器中，消除了传输过程中多次数据复制和文本交换的操作，降低了 CPU 的负载。基于RDMA的RoCE技术能在以太网上部署，相比IB网络节省了很大的资源和复杂度。当前 RDMA普遍使用 RoCEv2 协议。
【数据中心网络技术】基于叶脊架构与RDMA协议的高性能网络设计：InfiniBand与RoCE在AI训练场景中的应用分析
最新发布
11-07
适合人群：从事数据中心网络设计、云计算基础设施建设、高性能计算或AI系统运维的网络工程师、系统架构师及相关技术人员；具备一定网络基础知识并希望深入了解数据中心底层通信技术的专业人士。; 使用场景及目标：...
网络通信RoCE互操作性测试技术规范：800/400/200GbE高速以太网场景验证与性能评估系统设计
11-06
RoCE技术允许通过以太网实现远程直接内存访问（RDMA）功能，它在保持高性能的同时对上层协议进行了优化。在高速以太网场景下，互操作性测试主要关注设备是否能在标称速率和延迟下正常工作，以及链路状态是否能正确...
基于NVMeoF与RNIC技术的FPGA实现RDMA扩展NVMe存储系统：RoCE连接多终端的参考设计与IP源代码解析,基于NVMeO和RNIC的FPGA加速RDMA存储扩展技术实现，利用RoCE连接
02-15
基于NVMeoF与RNIC技术的FPGA实现RDMA扩展NVMe存储系统：RoCE连接多终端的参考设计与IP源代码解析,基于NVMeO和RNIC的FPGA加速RDMA存储扩展技术实现，利用RoCE连接多端SSD的IP源代码和参考设计工程研究,基于NVMEOF和RN...
Netapp添加主机映射配置方式
08-23
主要包括以下存储添加主机方式（有翻译）： 1、Fibre Channel Express 2、SAS Express 3、iSCSI Express 4、iSER over InfiniBand Express 5、SRP over InfiniBand Express 6、NVMe over InfiniBand Express 7、NVMe over RoCE Express 8、NVMe over Fibre Channel Express
RoCE组网方案实测报告（数据库一体机场景）
asterfusion的博客
08-05 1854
数据库一体机通常采用X86服务器和InfiniBand网络的硬件环境，现在，RoCE网络可以提供与InfiniBand网络相当的性能。因此使用RoCE网络替代InfiniBand网络，可以降低成本、提高组网的灵活性和可扩展性，更容易地进行部署和运维
RoCEv2 高性能传输协议与 Lossless 无损网络
烟云的计算
02-22 3676
它是 DCB (Data Center Bridging）标准的一部分，用于将流量分配到不同的队列，为每个队列分配一个权重，控制每个流量队列能够使用的带宽百分比，保证高优先级的流量，如 RDMA 流量通常会分配足够的带宽资源。因此，一旦出现丢包，就只能采用 go back N 重传机制，比如：网络链路上已经发送了 1，2，3，4，5 个数据包，假如当 2 这包丢掉了，那么 3，4，5 这三个包都要重传，重传的成本非常大。如下图所示，一旦发生丢包重传，RDMA 的性能就会急剧下降。
RoCEv2 无损队列缓存
老网工的岁月独白
06-17 2789
RoCE的技术方案是将以太网通过PFC和ECN的加持后进化成“无损网络”，用来支持在以太网上承载RDMA业务。 RDMA流量通过DSCP标记进入到以太网交换机的无损队列转发。无损队列和有损队列的重要区别就是其缓存的划分。 缓存空间存在于芯片中，芯片上的所有端口共用该芯片的缓存空间，端口上的所有队列共用该端口的缓存空间。缓存空间可以划分为芯片级、端口级、队列级。队列一般分为有损队列与无损队列。区别是无损队列多了Headroom缓存空间。无损队列的缓存空间 芯片级 1.Static Buffer 静态缓存是在芯
什么是RoCE网络技术
weixin_42795092的博客
06-21 2829
是一种基于以太网的远程直接内存访问（RDMA）技术，旨在通过标准以太网基础设施实现低延迟、高带宽的数据传输。它将 RDMA 的高效数据传输能力与以太网的兼容性结合，主要用于数据中心高性能计算（HPC）、云计算和大规模存储集群等场景。技术本质绕过操作系统内核直接访问应用内存，减少 CPU 参与数据传输的开销实现 “零拷贝” 数据传输，避免数据在内存中的多次复制支持低延迟（微秒级）和高吞吐量（数十到数百 Gbps）的通信。
RoCE网络
热门推荐
老网工的岁月独白
10-19 1万+
什么是RDMA RDMA(远程直接数据存取)就是为了解决网络传输中服务器端数据处理的延迟而产生的，无需使用CPU，就可以从一个主机或服务器的内存直接访问另一主机或服务器的内存。它释放了CPU去执行其应做的工作，比如运行应用程序和处理大量数据。这既提高了带宽又降低了延迟、抖动和 CPU 消耗。 RDMA与TCP/IP模式示意图。对比传统的网络传输机制，RDMA无需操作系统和TCP/IP协议栈的介入。RDMA的内核旁路机制，允许应用与网卡之间的直接数据读写，将服务器内的数据传输时延降低到1us以下。同时，RD
智算中心网络架构设计实践（2023）
Hardy
08-11 7977
比如对于端口数为 40 的交换机，两层胖树架构可容纳的 GPU 卡的数量是 800 卡，三层胖树架构可容纳的 GPU 卡的数量是 16000 卡。不同GPU编号的智算节点间，借助NCCL通信库中的Rail Local技术，可以充分利用主机内GPU间的NVSwitch的带宽，将多机间的跨卡号互通转换为跨机间的同GPU卡号的互通。网络可承载的 GPU 卡的规模和所采用交换机的端口密度、网络架构相关。网络的层次多，承载的 GPU 卡的规模会变大，但转发的跳数和时延也会变大，需要结合实际业务情况进行权衡。
一文读懂RoCE
weixin_42038119的博客
03-09 3164
RoCE RDMA等网络传输介绍
RoCEv2网络部署实践
老网工的岁月独白
03-09 4927
另外在VxLAN这样的overlay的网络中，我们必须还要考虑到内外层报文ECN的一致性，例如：Spine链路拥塞时ECN置位也只是在外层报文， 这就要求Leaf到接收端时先要将外层的ECN状态同步到内层报文，然后再剥离外层报文送到接收端侧。最后，很多时候无损网络部署时会将PFC和ECN同时部署，考虑到PFC可能的死锁等问题，一般发生拥塞时会首先触发ECN，使终端主动降速。队列调度：出向时，将不同标记的流量放到不同队列，通常信令类流量绝对优先，ROCEv2和普通流量加权重轮询调度，也就是SP+WRR。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值