【RDMA】RDMA技术详解（三）：理解RDMA Scatter Gather List

最新推荐文章于 2025-06-18 15:17:21 发布

bdview

最新推荐文章于 2025-06-18 15:17:21 发布

阅读量538

点赞数

CC 4.0 BY-SA版权

文章标签：链表 java python 数据结构 linux

本文链接：https://blog.youkuaiyun.com/weixin_42319496/article/details/119371328

本文详细介绍了RDMA中的Scatter Gather List (SGL) 和 Scatter/Gather Element (SGE)，阐述了SGL在数据传输中的作用，如何通过ibv_post_send接口将SGL提交到RDMA硬件，并解释了内存保护和数据段的聚合过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原文：https://blog.youkuaiyun.com/qq_21125183/article/details/86527199

1. 前言

在使用RDMA操作之前，我们需要了解一些RDMA API中的一些需要的值。其中在ibv_send_wr我们需要一个sg_list的数组，sg_list是用来存放ibv_sge元素，那么什么是SGL以及什么是sge呢？对于一个使用RDMA进行开发的程序员来说，我们需要了解这一系列细节。

2. SGE简介

在NVMe over PCIe中，I/O命令支持SGL(Scatter Gather List 分散聚合表)和PRP(Physical Region Page 物理(内存)区域页), 而管理命令只支持PRP;而在NVMe over Fabrics中，无论是管理命令还是I/O命令都只支持SGL。

RDMA编程中，SGL(Scatter/Gather List)是最基本的数据组织形式。 SGL是一个数组，该数组中的元素被称之为SGE(Scatter/Gather Element)，每一个SGE就是一个Data Segment(数据段)。RDMA支持Scatter/Gather操作，具体来讲就是RDMA可以支持一个连续的Buffer空间，进行Scatter分散到多个目的主机的不连续的Buffer空间。Gather指的就是多个不连续的Buffer空间，可以Gather到目的主机的一段连续的Buffer空间。

下面我们就来看一下ibv_sge的定义：