选以太网不选IB?AI网络构建未来趋势预测

据美国媒体Information报道,OpenAI和微软计划用千亿美金打造一款名为“Stargate”的超级计算机。

在选择网络方案时,即便微软是Infiniband的用户,OpenAI还是更加倾向使用以太网电缆而不是Infiniband电缆(简称IB),是什么让AI行业巨头弃用成熟的IB,选择以太网呢?

性价比

虽然Stargate的投资额巨大,但谁让以太网技术远比IB更具性价比呢?苍蝇腿儿再小也是肉,更何况IB交换机是真贵,光价格一项就足以劝退很多厂商。

对于一些预算有限的企业或者初创公司来说,构建大规模的IB网络导致的成本过于高昂,承担不起。

可扩展性

IB技术的优越性自不必多提,但它的规模不易扩展。IB使用基于树状或者多层拓扑结构的架构,导致网络可扩展性受到限制,这是不能忽视的巨大缺陷。

在构建大规模的AI集群时,如果节点数量超过了IB网络的扩展能力,可能需要考虑其他网络技术或者拓扑结构进行补充,IB技术是一种专有的高性能网络技术,自成一套的通信协议与通用的以太网协议不兼容,这增加了部署和管理网络的复杂性。

AI应用构建网络正如发展中的城市构建交通网络一般,一开始车流量(网络流量)并不大,但随着城市发展(AI技术日新月异,产品迭代迅速),原有的(网络)基础设施必将承载更多压力,急需扩建。如果可扩展性差,不仅会增加扩建成本,也对日后的流量管理、其他服务集成造成麻烦,网络不足容易造成交通堵塞,在网络流量上的表现就是增加时间损耗,IB的低延迟性能将会受影响。

市场趋势

根据2024年年初Dell’Oro 的预测,部署交换机的支出人工智能后端网络的应用预计将使数据中心交换机市场扩大 50%,虽然IB预计将保持领先地位,但以太网预计将取得实质性进展,例如到2027年收入份额将增加20个百分点,3年内收入份额翻番,留给以太网的未来发展空间可观。

虽然大部分市场需求将来自一级云服务运营商,但预计2/3级和大型企业的需求量将很大,以头部公司为例,除了微软以外,亚马逊、Meta、腾讯这些头部公司机器学习场景用的都是以太网而非IB,当Stargate这么大规模的AI集群搭建也选择以太网技术,已然表明了大厂们对以太网的青睐。

在AI厂商最关心的网络性能领域,人工智能网络将加速向更高速度过渡,比如预计到2025年,人工智能后端网络大部分端口将达到800G。不同供应商将在AI应用这一巨大市场面前不断推出新的解决方案,让以太网技术更好地满足AI发展的需要,比如星融元就能提供性能媲美IB交换机的CX-N超低时延交换机,可以满足AI场景下低时延高带宽无损网络的需求。

不可否认,目前IB依旧是AI厂商构建网络的主要选择,但是对比IB,以太网低成本、易扩展、不易被厂商绑定的优势愈发明显。对于考虑部署网络的AI厂商来说,选择跟随大厂一起选择以太网,根据市场需求不断实现技术的更新迭代,会比选择大笔资金入手IB更划算。万一业务增加,选择IB意味着市场扩张后又得继续增加大笔资金、等待漫长的供货周期再对网络进行扩容,会增加部署和管理网络的复杂性。

参考资料:

https://www.delloro.com/news/ai-workloads-require-new-network-buildouts-expanding-data-center-switch-market-by-50-percent/

https://mp.weixin.qq.com/s/GM4H9SgBkhnq0Z7HXzh6tA

关注vx公号“星融元Asterfusion”,获取更多技术分享和最新产品动态。

<think>嗯,用户想了解InfiniBandIB网络和IP网络的异同点,可能是为了技术型或者学习相关知识。首先,我需要确认这两个技术的基本概念和应用场景,然后找出它们的区别和共同点。 首先,InfiniBand是一种高性能计算(HPC)和数据中心常用的网络技术,特点是低延迟和高带宽。而IP网络,比如以太网,是更通用的网络协议,广泛应用于互联网和企业网络。 接下来,我需要比较它们的协议层次结构。IB工作在OSI的数据链路层,提供的是传输层服务,而IP网络中的TCP/IP协议栈则涵盖了网络层到传输层。这可能影响它们的路由和转发机制。 然后,性能方面,IB的延迟通常在微秒级别,带宽可以达到200Gbps以上,而传统以太网可能在毫秒级延迟,带宽虽然现在也有提升,但整体性能还是IB过,RoCE(RDMA over Converged Ethernet)这样的技术让以太网也能实现类似的高性能,这可能是两者的一个相似点。 协议栈方面,IB使用基于队列的通信模型,支持RDMA,而IP网络依赖TCP/IP协议栈,三次握手和拥塞控制机制会增加开销。但两者都支持分层的网络架构,这可能是一个共同点。 应用场景同,IB多用于超算、金融交易等对延迟敏感的环境,而IP网络更通用,适合云计算和普通企业应用。过随着RoCE和iWARP的发展,以太网也在进入高性能领域,这也是两者的交集。 还有网络拓扑和管理方式,IB通常需要专用硬件,管理更复杂,而IP网络设备更普及,管理工具成熟。过,IB的Subnet Manager和IP的DHCP/DNS都是自动配置的,这是共同点。 最后,兼容性方面,IB需要专用网卡和交换机,而IP网络设备广泛兼容。过,IBoE等技术允许在以太网上运行IB协议,这也是两者的结合点。 用户可能还关心成本、部署难度、未来发展趋势,比如智能网卡(SmartNIC)和DPU的影响。需要确保引用相关的内容,比如提到的InfiniBand和TCP/IP的结构差异,以及实际生产中的问题解决方案。</think>### InfiniBand网络与IP网络对比分析 #### 一、核心区别 1. **协议层次与通信模式** - **InfiniBand**:直接提供传输层服务(OSI第4层),采用基于通道的$QP$(Queue Pair)通信模型,支持$RDMA$(远程直接内存访问)技术,绕过操作系统内核实现零拷贝传输[^1] - **IP网络**:基于分层协议栈(网络层IP+传输层TCP/UDP),需要经过协议栈处理,典型TCP通信延迟公式:$$T_{total} = RTT + \frac{DataSize}{Bandwidth}$$ *示例:10μs级延迟 vs 100μs级延迟* 2. **性能特征对比** | 指标 | InfiniBand | 10GbE IP网络 | |------------|---------------------|-------------------| | 延迟 | <1μs | 10-100μs | | 带宽 | 200/400Gbps HDR | 10/25/100Gbps | | CPU占用率 | <5%(旁路协议栈) | 30-50% | 3. **网络拓扑差异** - **IB网络**:采用$Fat-Tree$拓扑,通过子网管理器(Subnet Manager)自动构建无阻塞网络 - **IP网络**:常见$CLOS$架构,依赖ECMP实现多路径负载均衡 #### 二、关键技术交叉点 1. **协议融合方案** - **RoCE**(RDMA over Converged Ethernet):在以太网上实现RDMA,支持$RoCEv2$(基于UDP/IP封装) - **IPoIB**(IP over InfiniBand):在IB物理层上运行TCP/IP协议栈 2. **流量控制机制对比** - **IB**:基于信用的$VL$(Virtual Lane)流量控制,公式:$$Credit = \frac{BufferSize}{PacketSize}$$ - **IP**:TCP滑动窗口机制,窗口大小计算:$$W_{max} = \min(RcvWindow, CongestionWindow)$$ #### 三、典型应用场景 1. **IB适用场景** - 超算中心(如TOP500榜单90%以上系统采用IB) - 高频交易系统(延迟敏感型业务) - AI训练集群(GPU间NVIDIA NCCL通信) 2. **IP网络优势领域** - 云计算虚拟化(SDN/NFV技术支持) - 广域网互联(BGP/MPLS协议支持) - IoT边缘计算(协议兼容性要求) #### 四、型决策树 ```plaintext 开始 | +---------------+---------------+ | | 需要亚微秒级延迟? 否 | | 是 需要广域网连接? | | InfiniBand原生方案 是 或RoCEv2 择IP网络 | 否 | 需要硬件卸载功能?(e.g. GPU Direct) | 是 | InfiniBand+RDMA方案 ``` [^1]: 引用自《浅谈InfiniBand网络与TCP/IP网络异同》 相关问题
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值