GenZ,CXL,NVLINK,OpenCAPI,CCIX乱战!

别再傻傻分不清了!一文搞懂Gen-Z连接器与SFF-TA-1002规范的关系(附选型指南) 本文深入解析Gen-Z连接器与SFF-TA-1002规范的技术差异与演进关系,帮助工程师在高速互连技术选型中避免常见误区。通过对比关键参数、应用场景决策树和供应链实战建议,提供全面的选型指南,确保系统设计的兼容性与未来验证性。 阅读详情

广告:经历了长达数个月的伟光正红的5审5校之后,《大话计算机》一书终于在2019年3月30日送厂印刷,1500页,分3卷,视网膜分辨率,全彩印刷,硬壳精装!这就像历时数年打磨的芯片tape out、游戏进厂压盘一样,曙光终现,将会驱走那令人恐怖的黑暗!计划4月中旬左右在京东商城首发上市,请关注本文结尾二维码公众号获取后续信息,首发预定特别版还会有外部二层礼品精装以及优惠券。


好久没写技术内容了。纵观数据中心业界,底层技术方面其实正处在一场架构变革的初始点,这场变革就是I/O总线的网络化以及I/O资源的大规模池化。


众所周知,在开放平台下,PCIE是目前高性能I/O设备普遍采用的总线类型,目前已经到Gen4,很快会到Gen5。但是PCIE总线的树形拓扑以及有限的设备标识ID号码范围,导致其无法形成一个大规模网络,这个问题在NVMe盘未普及之前显得不那么是个问题,但是NVMe盘得道广泛应用之后,会占用大量的PCIE同道数量,这使得原本捉襟见肘的PCIE总线资源更加紧张,GPU、NIC、FPGA/ASIC卡的接入数量就会被NVMe盘挤占,虽然可以用PCIE Switch来解决同道数量不够的问题,但是对于PCIE总线设备ID号的不足,PCIE Switch也并没有方便的解决方案,虽然可以用NTB方式来解决,但是这又需要在Host端OS内核底层增加一层驱动,这种对内核的变更使得该方案只适合用在封闭系统里,比如一些企业级存储系统。

PCIE的另外2个问题是,存储器地址空间隔离、不支持Cache Coherency事务。PCIE网络中的地址空间虽然也是64bit,但是其原本设计初衷是该网络的地址空间是私有的,与CPU的地址空间并不是原生融合的,需要地址翻译寄存器来做基地址翻译,然而对于Intel平台,这个翻译靠软件来执行,而且规则也很简单,就是不翻译,维持原有地址。


这样的话,虽然CPU可以直接访问PCIE网络中的地址,而PCIE设备也可以访问CPU地址空间中的地址(比如Host RAM),但是由于PCIE事务层不支持Cache Cohernecy事务的处理,所以PCIE设备端无法缓存CPU地址域中的数据,所以每次都必须去访问Host RAM来获取数据。

设备端无法缓存的话,每次都访问Host RAM有什么问题么?问题就是延迟太高,通过DDR同道直接访问内存延迟在40ns左右,而通过PCIE访问则会在100ns级别,如果是小尺寸访存请求,性能将会比较差。正因如此,对于目前的GPU、FPGA/ASIC等加速卡,普遍采用现将数据从Host RAM拷贝到加速卡上的内部存储器,计算,算完了再拷贝回Host RAM。


很显然,只要两招就能解决上述问题,第一就是将总线速率提升,降低访问延迟,第二就是在物理链路之上增加对Cache Cohernecy(下简称CC)事务的处理,也就是在设备一侧增加一个CC Agent与CPU一侧的Agent交互。关于CC缓存一致性详细底层架构和原理可阅读《大话计算机》一书第6章。


基于上面两个考虑,IBM最早推出了CAPI(Coherent Accelerator Processor Interface)接口,当年我还写了一篇文章来介绍。CAPI1.0接口复用了PCIE物理层、链路层和事务层,并利用PCIE数据包的Payload字段隧道化封装了CC和CAPI控制事务(这两者后文统称CAPI事务),在CPU一侧增加针对CAPI事务的解析处理模块,然后在加速卡芯片一侧,IBM提供CAPI的事务解析逻辑IP用于集成到第三方芯片中。在后来的CAPI版本中,逐渐演化成了OpenCAPI,有了自己的物理、链路、事务层,以及独立的处理模块,与PCIE分离。IBM下一步甚至会用OpenCAPI来连接DDR内存,内存卡上会有一颗OpenCAPI~DDR4/5的桥接芯片来负责适配。IBM不愧为业界大佬,在这方面风范犹存而且先带领大家玩了起来,不过毕竟是廉颇已老,跟风者寥寥无几,GPU/FPGA/ASIC厂商似乎并不是十分买账,毕竟OpenPower的机器在数据中心占比实在是太低了。


时隔4年,Intel也跟了上来,在2019年3月份推出了Compute Express Link(CXL)协议接口,其与CAPI酷似,也是将CXL协议封装到PCIE链路层数据包中传送,并在CPU端的PCIE总控后端按照事务标识分流CXL专属事务给CXL处理逻辑处理。IBM毕竟廉颇已老,如今是牙膏厂Intel的天下,Intel振臂一呼,那都得跟上来。


IBM和Intel各玩各的,这业界不能就让他俩这么单独玩。早在几年前,GenZ(Generation Z)这套协议雏形初现,如今已经是羽翼丰满。GenZ除了具有CAPI和CXL的功能之外,还将总线拓展成了交换式网络,也就是加入了GenZ Switch这个角色,可以将大量的CPU、I/O设备、存储器挂接到GenZ网络上,实现更高的扩展性。GenZ是一个开放组织,其不依赖于任何CPU平台,目前已经有60多家厂商加入了GenZ组织,其中包括Intel的老对手AMD。然而AMD对GenZ似乎不是很上心,不过Intel推出了CXL之后,AMD估计应该心里多少都有点涟漪,我猜测AMD应该不会自己另起炉灶搞一套总线,而应该斩钉截铁的站队GenZ阵营,直接在CPU里继承GenZ主控,或者采用Microchip(收购了Microsemi、PMC)等I/O控制器老牌公司的外置GenZ I/O控制器。


再说说淫威大这边的事。Nvidia给人感觉一直是diaodiao的,GenZ、CXL、人家一个也没看上,也不跟风,而是自己搞了一套NVLINK,而且反扑了IBM,IBM大佬竟然在Power CPU里继承了NVLINK控制器,奇怪的是NV竟然还是OpenCAPI组织成员,但最终却反客为主,够diao吧?NVLINK可以支持CPU-GPU间链路也可以支持GPU-GPU间链路,而且NV diao上加diao,连NVLINK Switch都自己搞出来了,而且还搞出了搭载16个GPU+NVLINK Switch的整机方案:DGX/HGX,以及即将推出的第二代整机平台方案。整个平台满配据说要数百万¥。


现在的时间线是:CAPI->GenZ->NVLINK->CXL。这还没完,ARM平台不掺和进来这出戏就不够精彩。ARM选择了加入另一个开放的访存和I/O网络平台(CCIX)Cache Coherent Interconnect for Accelerators。CCIX酷似GenZ。AMD也在这个平台里。完整的时间线应该是这样的:CAPI->GenZ->CCIX->NVLINK->CXL。


那么,这几员大将,到底谁能在这场架构变革中胜出?冬瓜哥的观点是这样的,OpenCAPI基本不用考虑,IBM的生态目前无法与Intel抗衡,而且OpenCAPI只支持CPU直连,尚未支持OpenCAPI Switch,后续估计也不会搞。CXL嘛,Intel的面子大家还是要给的,加上Intel目前的生态控制力,大家就算是为了规避风险,也必然会选择跟风,所以胜算较大。但是如OpenCAPI一样,CXL目前仅仅只支持CPU点对点直连拓扑,尚未有CXL Switch的打算,不过冬瓜哥猜测,Intel更高概率不会做外部Switch,而Microchip这类外部I/O主控、Expander/Switch公司在这方面更有经验和积累,这块蛋糕给它们来做似乎更加合理,再加上业界都不想让牙膏厂继续一家独大,所以GenZ前景还是非常明朗的,从加入它的众多厂商就可以看出。老牌I/O控制器和Switch厂商Microchip目前加入了GenZ和OpenCAPI,而且是GenZ的核心贡献者,有没有可能将来是CXL+GenZ的融合架构呢?不是没有这个可能,因为在CXL发布时,Intel官方特地邀请了GenZ的发言人,其中似乎有强烈暗示CXL和GenZ应该是趋于融合,前者只管点对点直连,到了外面则交给GenZ。


至于NVLINK,既然NV要diao到底,那谁也拦不住,毕竟GPU集群使用的越来越多,GPU和GPU之间怎么勾搭那是人家自己的事情。CCIX,目前看来前景不是十分明朗,AMD和ARM这对难兄难弟能否引领CCIX独占鳌头,很难说。


这场乱战最终会怎样演变,我们拭目以待吧。别忘了本月中旬上市的《大话计算机》,不见不散。


640?wx_fmt=png

大话存储


640?wx_fmt=png

大话计算机

白话GPU-03之围剿NVLink?CXL、UALink及产品一文详解 CXL的诞生源于一个关键的行业问题:传统PCIe接口在缓存一致性、内存共享和低延迟通信方面逐渐显露出不足。随着异构计算(CPU、GPU、FPGA及AI加速器)的迅猛发展,这些瓶颈日益突出。当谈及高速互联技术时,英伟达无疑占据了显著位置,其NVLink/NVSwitch及InfiniBand为全球互联技术的发展指明了方向,促使PCIe总线成为GPU互联的关键技术路径。天下苦英伟达久矣,全球的云服务、芯片、网络设备厂商希望通过联合构建开放协议与标准来试图改变英伟达在GPU互联网技术与产品层面一家独大局面。 阅读详情

相关推荐

nvidia nvlink互联与nvswitch介绍

一.动机 在nvidia推出目前这个方案之前,为了获得更多的强力计算节点,多个GPU通过PCIe Switch直接与CPU相连。 他们之间的pcie 3.0*16有接近32GB/s的双向带宽,但是当训练数据不停增长的时候,这个互联方案本身却成为了致命的系统瓶颈。如果不改进这个互联带宽,那么新时代GPU带来的额外性能就没法发挥出来,从而无法满足现实需求负载的增长。 二.NVLink 为了解决这个问题,nvidia开发了一个全新的互联构架nvlink。单条nvlink是一种双工双路信道,其通过组合32条配

查理王的博客 3万+

Gen-Z 可扩展连接器和SFF-TA-1002规范。

Hello大家好,在最近的一个项目中,我遇到了一个问题,就是说Gen-Z连接器和符合SFF-1002规范的连接器是什么关系?二者是不是同一种连接器?带着问题,我准备给他小刀拉屁股——开开眼儿。 话说2017年6月份,Gen-Z联盟出了一份规范,详细说明了Gen-Z连接器的众多应用场景,包括内存、存储、I/O、线缆等。就这么一出,好多同行就说话了,我们也要用!你们要给我们用!虽然我们没什么贡献,但是我们就要用!所以在同年9月份,Gen-Z把mechanical和electrical部分捐赠给了SNIA/SF

小孟同学的博客 1万+

【AI系统】NV Switch 深度解析

在当今的高性能计算领域,英伟达的 GPU 技术无疑是一颗璀璨的明星。随着 AI 和机器学习技术的飞速发展,对于计算能力的需求日益增长,GPU 之间的互联互通变得尤为重要。在这样的背景下,英伟达推出了 NVLink 协议,以及基于此技术的多 GPU 互联解决方案——NV Switch。本文将深入探讨 NV Switch 的发展历程、工作原理以及其在构建高性能服务器集群中的关键作用,为读者揭开这一技术背后神秘的面纱。

ZOMI酱 2084

我们偶尔听说的GENZ到底是个啥东西?是不是被市场淘汰了?

Gen-Z 不是 PCIe 7.0,也不是 PCIe 的代号。它是 HPE 主导的一套“基于 PCIe 物理层的内存语义互连标准”,后来被 CXL 吸收。外形上,它使用SFF-TA-1002 / 1009 系列连接器,外观与SlimSAS 或 MCIO 线缆非常相似。如今,CXL Type-3 内存扩展模块(E3.S、E3.L、OCP NIC 3.0)等,实际上正是 Gen-Z 理念在 CXL 架构下的继承者。

Saniffer的博客 1965

Rcmp: Reconstructing RDMA-Based Memory Disaggregation via CXL——论文阅读

针对RDMA和CXL结合的内存分解。本文提出基于RDMA和CXL的内存池Rcmp,通过CXL提高了基于RDMA的系统的性能,并利用RDMA克服了CXL的距离限制。包括4个创新点:(1)基于全局页面的内存空间管理,支持细粒度的数据访问,避免IO放大。(2)使用不同缓存区结构避免通信阻塞,机架内访问使用环形缓存区,机架间访问使用双层缓冲区,第一级存储已完成的访问避免阻塞,第二级使用环形缓存区,执行完时将请求添加到第一级缓冲区。

重新开始写博客 2266

NVLink 和 NVLink Switch

高速、多 GPU 通信的基础模组,助力将大型数据集更快地输入模型并在 GPU 之间快速交换数据。

RZer的博客 2669

什么是CXL技术?CXL的三种模式、类型、应用

点击蓝字关注我们关注、星标公众号,精彩内容每日送达 来源:网络素材CXL (Compute Express Link) 技术是一种新型的高速互联技术,旨在提供更高的数据吞吐量和更低的延迟,以满足现代计算和存储系统的需求。它最初由英特尔、AMD和其他公司联合推出,并得到了包括谷歌、微软等公司在内的大量支持。一、CXL介绍CXL的目标:解决CPU和设备、设备和设备之间的内存鸿沟。服务器有巨大的内存池和...

HackEle的博客 3424

GENZ 白皮书 概述

GENZ作为新一代的互联标准,将深刻影响计算机体系架构,看社区是否有人关注这个

什么是CXL(Compute Express Link)技术?一文读懂CXL

CXL (Compute Express Link) 技术是一种新型的高速互联技术,旨在提供更高的数据吞吐量和更低的延迟,以满足现代计算和存储系统的需求。它最初由英特尔、AMD和其他公司联合推出,并得到了包括谷歌、微软等公司在内的大量支持。CXL的目标:解决CPU和设备、设备和设备之间的内存鸿沟。服务器有巨大的内存池和数量庞大的基于PCIe运算加速器,每个上面都有很大的内存。内存的分割已经造成巨大的浪费、不便和性能下降。CXL就是为解决这个问题而诞生。

Lion_Long的博客 1万+

路由器接口及连接(图解)

介绍路由器的接口及连接,带图,比较适合入门级别。浅显,建立概念

【图解】主板连线接口最详尽图文解释

从电脑小白到装机高手!【图解】主板连线接口最详尽图文解释

GenZ,CXL,NVLINK,OpenCAPI,CCIX乱战

原文链接:http://www.sohu.com/a/306325058_671230 纵观数据中心业界,底层技术方面其实正处在一场架构变革的初始点,这场变革就是I/O总线的网络化以及I/O资源的大规模池化。 众所周知,在开放平台下,PCIE是目前高性能I/O设备普遍采用的总线类型,目前已经到Gen4,很快会到Gen5。但是PCIE总线的树形拓扑以及有限的设备标识ID号码范围,导致其无法形成一个大规模网络,这个问题在NVMe盘未普及之前显得不那么是个问题,但是NVMe盘得道广泛应用之后,会占用大量的PCIE

zsmcdut的博客 1928

自由曲面与衍射光学元件DOE:从基础理论到工业应用的全景解析

本文全景解析了自由曲面与衍射光学元件的核心理论与工业应用。文章深入探讨了自由曲面在非对称光学设计中的灵活性及其数学描述与制造挑战,并阐述了衍射光学元件通过微纳结构进行波前相位调制的原理与多样化功能。两者与经典光学互补融合,共同构成了高端成像、智能照明、激光加工及AR/VR等前沿领域的底层技术支柱。

devops8pract的博客 392

[PCIe]PCIe学习资源分享

本文分享了Felix撰写的PCIe技术系列教程资源,共分为五个阶段系统讲解PCIe技术。内容涵盖PCI/PCIe总线基础概念、配置空间、TLP路由、流控机制、错误处理、中断机制、电源管理等核心技术,并包含物理层实现、链路训练等底层细节。教程通过阶段式递进讲解,从入门到深入剖析PCIe协议栈各层(事务层/数据链路层/物理层),最后还补充了M-PCIe、CCIX等扩展技术和实用工具推荐。该系列可作为系统学习PCIe协议的优质资源,适合不同基础的学习者循序渐进掌握PCIe技术体系。

元直的博客 1240

cellranger安装以及使用

接受cellranger count的输出数据,将同一组的不同测序样本的表达矩阵整合在一起,比如tumor组原来有4个样本,PBMC组有两个样本,现在可以使用aggr生成最后的tumor和PBMC两个矩阵,并且进行标准化去掉测序深度的影响。但是由于病毒基因组太小了,且注释结果只有CDS没有exon,所以曲线救国,将CDS整体替换为exon,也不进行过滤了,直接下一步。虽然安装完毕,但是现在要运行cellranger的话需要在终端输入cellranger的整个路径。自动执行这个命令,需要将“

m0_59974475的博客 9397

FastAPI + Layui:打造企业级敏捷开发后台管理系统

本文详细介绍了如何使用FastAPI和Layui构建高效的企业级后台管理系统。FastAPI提供高性能的异步API支持,而Layui则简化了前端开发流程,两者结合可实现快速开发和部署。文章涵盖了从环境搭建、核心组件开发到性能优化的全流程,特别适合需要敏捷开发的企业项目。

weixin_29045585的博客 557

NV Switch 深度解析与性能剖析

NV Switch 深度解析与性能剖析

3438

PCB工艺-SI9000-模型选择

本文介绍了PCB设计中常用的阻抗计算模型,主要包括外层、内层和嵌入式三类共12种计算模型,涵盖单端/差分、共面等不同场景。针对阻抗计算中的关键参数,文章提供了经验值参考:表层走线厚度0.035mm(1.4mil),内层0.0152mm(0.6mil);并列出常见PP材料的介电常数(3.8-4.5)和成品厚度(3-7.5mil)。作者建议90%的设计问题可通过上述模型解决,层叠参数建议咨询PCB厂家获取。

weixin_50120208的博客 1394

NVLink/NVSwitch:撕碎传统,重铸高性能计算的辉煌圣殿

在数据洪流汹涌而至的数字时代,传统计算架构逐渐暴露出瓶颈。NVLink/NVSwitch 互联技术宛如一道划破天际的闪电,以颠覆性的姿态震撼登场。它不是简单的技术迭代,而是一场彻底的革命,以惊人的速度和强大的性能,打破旧有束缚,为高性能计算开启一扇通往巅峰的荣耀之门,让我们一同见证这一技术传奇的崛起。

Black_Rock_br的博客 2368

PIPE Interface解析之PIPE SerDes/Original架构

PIPI Interface;SerDes架构;Original架构;PHY Tx结构;PHY Rx结构;

weixin_45176819的博客 2607

如何利用Arcgis进行地统计学分析(三):空间插值方法选择与优化

本文深入探讨了在Arcgis中进行地统计学分析时,如何根据探索性数据分析(EDA)结果科学选择与优化空间插值方法。文章对比了IDW、RBF、克里金等主流方法的适用场景与核心参数,并通过实战案例详解了从数据诊断到模型调优的完整流程,强调结合半变异函数与趋势分析进行“对症下药”,以提升插值结果的精度与可靠性。

weixin_29281915的博客 122

AI芯片领域的角逐才刚刚开始

https://www.toutiao.com/a6681471223634854404/ 2019-04-19 13:20:45 新型架构能够挖掘深度学习的巨大潜力。然而,到目前为止,只有一款AI芯片是完全符合描述和基准测试的,它就是谷歌的TPU。即便如此,这一领域仍然正在蓬勃发展,相关的技术也开始逐渐明朗,比如模拟计算、新兴内存和封装技术、以及一系列专门用于处理神经网络的技术等等。对...

喜欢打酱油的老鸟 1056

HyperLynx(二)LineSim的基本操作

如果是仿真眼图,那么还有一个眼图模板(EyeMask)加载选项,这些选项必须经过勾选之后才会在显示界面中显示,以使相关的信息在波形显示的界面呈现,如图所示。另一种为振荡器激励,即连续的脉冲激励源,在这个选项中有两个参数需要设置,即激励源的频率(MHz)和占空比(Duty),如图所示。如果Pins一栏中有多个引脚具有相同的模型,那么可以选中已经赋值模型的引脚,单击右下角的Copy按钮进行复制,然后再选择同类型并没有赋模型的引脚,单击粘贴或者全部粘贴,即完成模型赋值,但是不同类型的模型就不能这样操作。...

小幽余生不加糖 6111

好文当转——nvidia nvlink互联与nvswitch介绍

nvidia nvlink互联与nvswitch介绍

filthyfrank的博客 3495

20.Labview使用子vi进行VI间的数据传递详解(模块化)

子VI(模块化)题主在题注中也提到, 子VI的建立只是为了减少程序的负担,那么我们当使用子VI的时候首先就要明确什么是子VI?什么样的程序可以作为子VI?首先我们来看NI官方给的定义,具体说明如下图所示:题主已经将重点画出来了,在官方的解释中将子VI定义为了模块化,大家可以看到创建模块化子VI的特点在于减少代码重复工作优化了程序的框架结构。把一个代码打包,需要的时候就拎出来让他处理处理,不需要的时候就让它躺在我的列表里就行了也不占用运行空间。那么创建子VI需要需要注意以下几点:①任何一个程序。

关注我,更多技术问题欢迎私聊~ 3518

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

上一篇: GenZ,CXL,NVLINK,OpenCAPI,CCIX乱战!
下一篇: 《大话计算机》免费送!
大话存储
博客等级 码龄9年 568粉丝 148原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值