自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(40)
  • 收藏
  • 关注

原创 从零读懂RDMA硬件排障

链路状态与速率协商PCIe总线状态硬件计数器类别趋势。当你遇到"没有报错但性能不对"的情况时,按这个顺序走一遍:先看ethtool确认速率,再看lspci确认PCIe宽度,最后跑压测并观察计数器增长属于哪一类。硬件故障很少是玄学——它只是把线索藏在了你不会去翻的寄存器里。

2026-05-29 11:34:29 319

原创 从零读懂RDMA硬件排障:读数、看码、查计数器

RDMA硬件调试的本质是读懂硬件留给你的三类信号:CQE状态码告诉你哪个操作出了什么问题,端口计数器告诉你整体健康状态,PFC Watchdog等机制自动介入恢复并留下统计痕迹。理解这些信号,你就能在没有"Segmentation fault"的世界里抓住每一个故障。

2026-05-28 14:02:25 404

原创 从零读懂RDMA性能瓶颈与硬件优化:CPU是如何被“减负”的

RDMA性能优化的核心战场已经从“把数据搬快”转移到了“把控制面做轻”。数据路径已经卸载到硬件,但门铃和完成事件这些控制面上的高频操作,仍然是CPU的负担。CQE压缩让每次完成事件更“轻”,BlueFlame把门铃和数据“打包”发送,PCIe Relaxed Ordering让写操作“插队”,中断合并把零散的CPU打断“攒批”。每一项技术都在回答同一个问题:怎么让CPU用更少的指令,处理同样多的网络事件?

2026-05-27 17:04:44 306

原创 从零读懂RDMA安全机制:硬件筑起的层层高墙

RDMA的安全不是靠“信任”,而是靠硬件强制执行的层层隔离。PD把QP和MR锁进同一个房间,远端请求来了也得验PD;PSN让重放包在入口处就现形;多把钥匙分而治之,各管各的事;R_Key泄露了可以在线换锁;虚拟机之间靠SR-IOV和IOMMU物理隔开;整个网络的管控权捏在子网管理器手里。攻击者拿到了你的R_Key,就能读写你的内存吗?答案是不一定——他还得通过PD校验、PSN检验、P_Key分区、SR-IOV隔离……只要有一关过不去,他的攻击在硬件层面就被终止了。

2026-05-26 15:17:34 392

原创 从零读懂多路径RDMA:当一张网卡遇上“条条大路通罗马”

包喷洒把同一个RDMA连接的数据包均匀散列到多条路径上,转发决策不再只看五元组,而是动态实时调整。有的实现按Round Robin轮询分配,每个包依次走不同链路;更先进的版本根据实时的路径拥塞信号动态调整喷洒比例。

2026-05-25 13:18:43 357

原创 从零读懂RoCE演进:从二层到三层的必经之路

组件RoCEv1RoCEv2以太网头有(EtherType=0x8915)有(EtherType=IPv4/IPv6)IP头无有UDP头无有(目的端口4791)IB传输层有(BTH+扩展头+负载+ICRC)有(BTH+扩展头+负载+ICRC)寻址方式MAC地址 / VLAN+MACIP地址网络范围一个二层广播域整个IP网络RoCEv1和RoCEv2在硬件层面的区别,归根结底是“有没有IP/UDP头”。RoCEv1把自己锁在二层广播域里,用最简单的硬件实现了RDMA;

2026-05-24 18:10:17 363

原创 从零读懂RDMA流控机制:为什么RC需要“信用”

RC Credit只对SEND操作有效,而RDMA Write因为直接写内存,天然绕过了信用流控,理解这些差异,才能在实际部署中避免“为什么我的SEND很慢但Write很快”这类困惑。

2026-05-23 14:40:40 352

原创 从零读懂网卡内部架构:一条数据包的硬件之旅

RNIC的内部设计,本质是把软件协议栈的每个功能点都映射到硬件流水线的一个级,并把频繁访问的元数据(QP上下文、MTT/MPT条目)缓存在片内SRAM中,用极小的片上资源换取接近线速的吞吐和微秒级的延迟。理解了这个从Doorbell到CQE的闭环,你就掌握了RDMA网卡的“硬件思维”。

2026-05-22 17:25:29 358

原创 从零读懂RoCEv2数据包构造:从WQE到线缆上的完整旅程

RoCEv2数据包的构造过程是一个自内向外、逐层封装的流水线:WQE决定了操作类型、数据源和远程地址。IB传输层加上BTH和必要的扩展头(RETH/DETH/AtomicETH),并附上数据负载(如果有)。ICRC覆盖IB部分,保证端到端数据完整性。UDP+IP封装使得报文可路由,目的端口固定4791,IP头支持ECN。以太网头完成链路层寻址,可选VLAN支持PFC。VCRC提供链路层完整性。硬件流水线几乎不需要软件干预,所有头部填充和CRC计算都在网卡内部完成。

2026-05-21 15:17:21 382

原创 从零读懂ECN:网络拥塞的“黄灯”预警系统

ECN的本质是让网络在真正堵死之前先“亮灯”,让发送端主动降速,避免触发PFC那脚“急刹车”。它在IP头里用了两个比特,配合交换机的队列深度阈值和DCQCN的调速算法,构成了RoCEv2无损网络中第一道、也是最关键的一道拥塞防线。ECN + PFC + DCQCN三者协同,正是RoCEv2能够在大规模数据中心稳定运行的底层原因。

2026-05-20 14:22:39 208

原创 从零读懂RoCEv2无损网络:PFC死锁、拥塞扩散与调优

PFC是RoCEv2无损网络的基石,但它不是万能的。死锁和拥塞扩散是它天生的两个“阿喀琉斯之踵”。通过开启PFC Watchdog、部署DCQCN等主动拥塞控制算法,可以有效缓解这些问题。而长远来看,硬件正在从“被动反压”走向“主动调度”——DCQCN等新协议的出现,预示着未来RDMA网络可能会彻底摆脱PFC的束缚。

2026-05-19 14:38:42 423

原创 从零读懂RDMA共享接收队列(SRQ):多个QP共用一个“收件箱”

SRQ牺牲了一点灵活性——所有接收操作都走同一个WQE池,你必须自己在数据中编码连接信息——但换来了在大规模连接场景下近乎线性的内存效率提升。对于任何需要处理成百上千个QP的RDMA服务(分布式存储节点、高性能计算集群、云原生网关),SRQ都是从“能跑起来”到“跑得划算”的关键一步。

2026-05-18 15:50:13 271

原创 从零读懂RDMA的WQE与CQE:软硬件之间的“任务单”与“回执”

WQE是软件向网卡下达的“任务单”,不同操作类型的WQE在数据来源、目标地址、操作参数上有明显差异。CQE是硬件填写的“回执”,通过环形缓冲区高效地通知软件任务完成。理解这对“任务单-回执”的软硬件配合,是掌握RDMA数据路径编程的基础。

2026-05-17 17:14:44 368

原创 从零读懂RDMA的钥匙机制:硬件如何用L_Key/R_Key保护你的内存

L_Key和R_Key的本质,是把“哪块内存能用”的决策权从CPU转移到了网卡硬件。24位索引负责定位,8位标签负责防伪,MPT负责存储规则。当网卡收到一个内存访问请求时,它拿着钥匙自己去查表、校验、决定允许还是拒绝——全程不需要CPU帮忙,也不给攻击者留后门。这在追求“CPU零参与”性能的同时,还给RDMA提供了硬件级的安全底座。

2026-05-16 19:00:16 359

原创 从零读懂RDMA内存注册

RDMA内存注册的本质,是在软件虚拟地址和硬件物理地址之间架起两座桥:MTT负责“翻译”,MPT负责“保护+关联”。如果没有这套机制,RDMA的单边操作就不可能绕过CPU。理解了MTT和MPT,你就真正理解了RDMA如何做到“硬件自己管自己”——从地址翻译到权限校验,全都卸载到网卡硬件里,CPU只负责在最开始递一下钥匙。

2026-05-15 16:52:09 389

原创 RDMA:AI算力集群的“网络命脉”

RDMA几乎已经成为AI基础设施的“事实标准“,当AI大模型参数突破万亿甚至十万亿级别,单台服务器早已无法独立完成训练。万卡级算力集群的算力虽然空前强大,但网络的通讯耗时占比已达到30%~50%。换句话说,如果网络不畅,再强的算力也得“等数据”。要理解RDMA在其中的角色,就需要先厘清两项根本性的技术创新。

2026-05-14 15:13:45 276

原创 从零读懂RDMA UC Write:单向推送,不求回音

前面我们聊了RC(可靠连接)和UD(不可靠数据报)。RC什么都好——可靠、保序、能拆长消息——但QP上下文太重,硬件成本高。UD什么都省——无连接、单包、不确认——但代价是不可靠,丢包了上层自己兜底。那么,有没有一种“中间形态”?既要面向连接、能拆长消息,又要省掉确认和重传的硬件开销?答案是有的,UC(Unreliable Connection,不可靠连接)就是这个中间产物。只不过它尴尬到几乎没人用。

2026-05-13 17:06:29 345

原创 从零读懂RDMA UC Send:被遗忘在中间的“可靠连接轻量版”

前面我们聊了RC(可靠连接)和UD(不可靠数据报)。RC什么都好——可靠、保序、能拆长消息——但QP上下文太重,硬件成本高。UD什么都省——无连接、单包、不确认——但代价是不可靠,丢包了上层自己兜底。那么,有没有一种“中间形态”?既要面向连接、能拆长消息,又要省掉确认和重传的硬件开销?答案是有的,UC(Unreliable Connection,不可靠连接)就是这个中间产物。只不过它尴尬到几乎没人用。

2026-05-12 16:30:12 339

原创 从零读懂RDMA原子操作:硬件在远程CPU眼皮底下做的“精确手术”

RDMA write是一个“单行道”:请求端说“我把这些数据写进你的内存”,响应端的网卡照做,写入过程中完全不打扰对方的CPU。RDMA read则是镜像的单行道:请求端说“把你那块内存的数据给我”,响应端网卡打包发回来,本地CPU同样全程无感.但是,他们都只解决了数据搬运问题。要搬的东西是128字节的普通数据,没问题;但如果你要搬的是“一个计数器,要求加1之后别人不能读到中间状态”呢?普通Read和Write会遭遇“读-改-写”的竞态窗口。

2026-05-11 14:05:04 412

原创 从零读懂RDMA UD send:硬件视角下的“无连接”数据报

UD的“无连接”三个字,经常被误解为“不需要知道对方是谁就能发消息”。经过这篇文章,你应该明白:硬件确实不需要握手,但软件必须在发送前通过某种方式拿到对方的QPN和地址,然后显式地填进WQE。硬件只负责执行,不负责发现。这种设计是RDMA追求极致性能的一个缩影:把复杂的事情交给软件(发现、协商、错误恢复),让硬件专注于最核心的数据搬移。理解了这个分工,你就真正看懂了UD。

2026-05-10 18:45:24 225

原创 从零读懂RDMA RC read:硬件帮你远程“拉”数据,远程CPU全程不参与

RDMA的RC read,可以理解为一种“远程拉取”操作。你只需要告诉网卡“把对方某块内存里的数据拉回来,放到我本地的这里”,网卡就会自动完成剩下的工作。整个过程,对方CPU完全不知道你什么时候来“取”走了数据。本片文章将带你从头到尾看懂这个“拉“的过程。

2026-05-09 17:30:42 247

原创 从零读懂RDMA RC Write:硬件帮你直接搬数据,远程CPU全程不感知

DMA的RC write可以理解为一种“单向推送“操作,你只需要告诉网卡”将这块本地内存的数据,直接写到对方的某块内存去“,网卡会帮你完成剩下的工作。整个过程,接收端CPU完全不需要参与,本文将带你从头到尾看懂这个机制。

2026-05-08 16:33:19 377

原创 从零看懂RDMA RC Send:建链、分段、确认与重传

RDMA的RC(可靠连接)模式,可以理解为为两张网卡简历了一个数据“快车道”。不过对于两张卡来说,发送端只管自己需要发什么内容,至于放在哪里则由接收端自己进行决定。当应用程序需要下发一条大消息时,网卡将根据MTU进行自动拆包,随后发送等待确认,如果出现丢包则进行重传,整个过程CPU完全不需要参与。那么他是如何实现的呢?下面将一步步进行拆解。

2026-04-29 16:28:21 419

原创 每天解析一种网络协议:TCP协议

TCP的每一个字段都不是孤立的理论概念。端口号实现多路复用,序列号/确认号保证可靠有序,标志位驱动状态机,窗口控制流量,校验和防止投递错误,选项提供性能增强(MSS、窗口缩放、SACK、时间戳)。而选项区的TLV编码配合EOL/NOP机制,使得解析器能够在未知选项列表的情况下安全、完整地提取所有扩展信息。理解字段的动态交互,才是协议解析的真正价值所在。

2026-04-24 19:06:59 404 1

原创 每天解析一种网络协议:IPV6——扩展头链式结构和逐字段详解

IPV6在报文设计上做了一个相对于IPV4来讲很重要的改变,那就是将可选功能从固定首部中剥离出来,封装成一个个独立的扩展头,他们像链表一样存在于IPV6固定首部后面。每个扩展头内部都包含一个8bit的“next header”字段,其值为IANA定义的协议号,指向链中的下一个头(可能是另一个扩展头,也可能是上层协议),如此形成一个单向链表。固定首部仅40字节,共八个字段,分别是版本=6、流量类别、流标签、载荷长度、下一个首部、跳数限制、源/目的地址,所有扩展功能均由扩展头承载。

2026-04-22 12:53:23 725

原创 每天解析一种网络协议:IPv4——互联网的核心数据报文格式

2. 首部长度(IHL,4位):表示IPv4头部的长度,单位是32位字(即4字节)。若不一致,则丢弃数据报。3. 区分服务(Type of Service,8位):早期称为服务类型(ToS),现用于QoS(服务质量)。前6位是区分服务码点(DSCP),后2位是显式拥塞通知(ECN),用于标记数据包的优先级或告知网络拥塞状态。4. 总长度(Total Length,16位):指整个IP数据报(头部+数据)的字节数,最大65535。8. 生存时间(TTL,8位):数据报每经过一个路由器(一跳),该值减1。

2026-04-21 18:34:07 1855 1

原创 深入浅出PCIe数据链路层

这意味着发送部件在发送新TLP的同时,接收部件也能接收对方的TLP并回送ACK/NAK,互不干扰。它屏蔽了物理传输的不完美,为上层事务层提供了一个“几乎无错”的传输通道,是PCIe高速互联技术得以广泛应用的关键支柱。其中,Sequence字段标识当前TLP的唯一序号,该序号可循环使用,但在同一时间段内,链路上不会出现两个携带相同序列号的未确认TLP。Replay Buffer是发送部件的关键组件,它保存所有已发送但尚未被对方确认的TLP副本,以便在需要时进行重传。,形成数据链路层专用的报文格式。

2026-04-17 16:08:00 519

原创 RDMA流控算法ZTR-RTT:原理与硬件实现

ZTR-RTT CC通过硬件化的RTT主动监测机制,为RDMA网络提供了一种无需交换机配置的大规模拥塞控制方案。在硬件上实现该算法,需要围绕RTT测量、流状态维护、速率调整和调度整形四个模块精心设计,FPGA灵活可编程的特性使其成为ZTR-RTT等新型拥塞控制算法原型验证与快速迭代的理想平台。

2026-04-15 16:01:36 356

原创 RDMA CM建链与数据交互全解析

RDMA的初始化流程是硬件控制面与软件数据面精密分工的结果:REQ/REP/RTU三步握手(含MTU、QPN、PSN等传输参数)由硬件完成,建立高速通道;R_Key、VA等内存授权信息则在通道建立后由软件主导,通过Send数据报文交换。ACK/NAK/RNR NAK等可靠性报文确保传输稳定。理解这两层的分工与协作,是精准把握RDMA技术的核心。

2026-04-13 16:39:32 490

原创 一文带你看懂RDMA三个核心队列SQ、RQ、CQ

如果你经常和高速网络打交道,一定听说过RDMA这个词。RDMA最厉害的地方在于,它可以让一台计算机直接读写另一台计算机的内存,整个过程几乎不需要CPU参与。传统的网络通信像TCP/IP,数据要在内核空间和用户空间之间反复拷贝,CPU忙得不可开交。而RDMA实现了“内核旁路”(Kernel Bypass)和“零拷贝”(Zero-Copy),数据直接从一块内存飞到另一块内存,延迟极低、CPU占用极小。,这三个队列就像一个“交通调度中心”,负责管理所有数据收发任务的发布、执行和完成通知。

2026-04-09 15:02:22 658

原创 深入浅出布谷鸟哈希

布谷鸟哈希就是一种用“踢人”的方式解决冲突的哈希表。虽然比传统的哈希表实现复杂一些,但是其优越的RAM使用率,极坏情况下优越的查找能力,都让它成为一个非常靠谱的选择。

2026-04-01 15:40:26 429

原创 深入浅出DCQCN流控技术

DCQCN作为RDMA网络的拥塞控制基石,通过端到端协同机制实现了高吞吐、低延迟与零丢包的平衡。其“交换机ECN标记→接收端CNP反馈→发送端速率调节”的核心流程,已成为现代数据中心网络的事实标准。未来,随着AI集群规模不断扩大和以太网普及,拥塞控制面临更高要求。基于AI的动态阈值调节等新技术正在兴起,有望进一步降低配置复杂度、提升自适应能力。

2026-03-31 16:50:35 618

原创 深入浅出PFC流控技术

但是对于这个简单的实现方向,相信你一定思考到了一个问题,假如我某一个优先级因为停止流量,导致RAM存满了,同时PCIE里面有一些该优先级的报文正在被从主机拉到硬件的路上,那么如果这些报文不被RAM单独存储起来,就会导致报文积压在PCIE处,从而无法拉取其他优先级的报文,进而影响整个数据通路。聪明的你肯定想到了,我们增加一个任意优先级的RAM,用于处理这种突发情况,当某一个优先级的RAM满了,我们就将它存储不下的报文放入这个任意优先级的RAM中,那么此时便可以解决刚才所说的问题。至此,问题便全部解决了。

2026-03-30 11:41:49 551

原创 浅谈RDMA流控技术

实现简单:只需在交换机端口和网卡上配置阈值,无需复杂的端到端协议;保证0丢包:通过强制暂停上游发送,从物理上避免了缓冲区溢出,确保RDMA无损传输;低延迟:Pause帧的触发和响应在微秒级,能快速应对瞬时拥塞;拥塞扩散:一个核心端口的拥塞会通过Pause帧向所有上游设备传播,形成“拥塞树”,影响无辜流量;队头阻塞:由于同一优先级的所有流共享一个队列,一旦该队列被暂停,所有流向该端口的流都会停滞,无论它们的目的地是否拥塞;

2026-03-27 15:55:38 1031

原创 浅谈RDMA建链/断链

第三步(ACK):客户端收到服务端的SYN+ACK后,发送ACK(确认)报文,确认收到服务端的响应,至此三次握手完成,TCP 连接正式建立,双方开始数据传输;第三步(RTU):客户端收到响应后,发送就绪报文(RTU,Ready To Use),通知服务端连接已就绪,双方正式完成建链,可开始数据传输;第二步(DREP):服务端收到请求后,回复断开响应报文(DREP,Disconnect Reply),确认收到断开请求,准备释放资源;

2026-03-26 18:28:55 819 1

原创 深入浅出网卡负载均衡

网卡级负载均衡通过将流量按不同粒度的哈希分散到多核CPU并行处理,在保障数据流有序的前提下最大化系统吞吐量并降低CPU负载。二元组(源IP+目的IP):最粗粒度,仅依赖IP地址分发,适用于纯IP转发或端口信息缺失的场景,但同一对IP间的所有流量(无论多少连接)都会发往同一处理单元,易导致负载不均;三元组(源IP+目的IP+协议号):在二元组基础上区分不同协议(如TCP与ICMP),主要用于IP分片报文或纯协议流量,确保同一报文的所有分片被送往同一处重组;

2026-03-25 16:45:29 214

原创 浅谈OVS

OVS(open vswitch)是开源的软件式智能交换机,它的作用是连接同一台物理服务器上的虚拟机、容器等虚拟设备,使其能互相通信或与外部网络通信。OVS是纯软件实现,实现数据包的二层(MAC)/三层(IP)转发、多租户网络隔离、流量策略动态控制等功能,可以被中央控制器远程动态控制,实现网络的自动化配置。核心定位是虚拟化环境的网络交通枢纽。依据上述介绍,我们首先可以确认一件事,传统场景下的OVS虽然依托CPU实现全部功能,但是部署成本低,软件灵活性高,无硬件适配限制,适合中小规模平台部署使用。

2026-03-24 16:50:11 857

原创 FPGA跨时钟域处理

本文主要介绍三种方法,在实际场景中选择合适的方法进行使用。

2026-03-23 17:46:19 354

原创 浅谈VXLAN

传统二层网络受vlan 4094个id的限制,且跨物理网段无法直接做二层互通,而VXLAN通过“隧道封装“打破了这些限制,把需要互通的二层流量打通,通过三层IP网络传输,到达目的地后再解包还原,让不同的物理位置的设备像在同一个二层局域网内通信。用一句话总结就是“打包走外网,拆包用内网,两层IP互不干扰“,客户端和服务端认为自己是在同一网段的,只不过中间过了其他网段,但是客户端和服务端感知不到。VNI:VXLAN网络标识,24比特,用于区分VXLAN段。Reserved: 8比特,必须设置为0。

2026-03-20 16:02:47 458

原创 浅谈SR-IOV

VF是被PF虚拟出来的轻量级PCIE设备,无管理权限,仅保留数据收发功能。每一个VF都有自己独立的PCIE地址、中断号、虚拟MAC地址等,对于VF来说,其本身就是“一张独立的物理网卡“,一个PF可以创建多少个VF是由硬件进行决定的,所有VF和PF共享PF所拥有的物理资源。PF就是PCIE设备本身,他拥有完整的PCIE配置空间,管理权限和硬件功能,PF可以创建/删除VF,为每一个VF分配硬件资源,例如带宽、队列、缓存等,同时他还需要管理MAC口,PF和所属的VF都是通过被PF管理的MAC口进行报文输出的。

2026-03-19 15:55:01 587

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除