HCA卡的MTU仅仅对IPOIB有效,对RDMA没有速度提升.

最新推荐文章于 2025-09-02 16:29:07 发布
原创 最新推荐文章于 2025-09-02 16:29:07 发布 · 1.9k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hca #Infiniband #ib0 #MTU #connect

本文介绍HCA卡的MTU设置仅对IPOIB有效，并不提升RDMA速度。同时介绍了HCA卡MTU的查看方法及connectmode的应用场景。
教你在虚拟机上把普通网卡配置成softroce设备来运行rdma-core中的示例程序
嵌入式技术开发
07-30 2042
在虚拟机环境中，将普通网卡配置为 SoftRoCE 设备可以帮助你在没有实际硬件 RDMA 设备的情况下测试和体验 RDMA 功能。SoftRoCE 是 RoCE（RDMA over Converged Ethernet）协议的一个软件实现。
【RDMA】查主机是否支持RDMA|检查可用的RDMA网卡|测试RDMA通信
小鱼菜鸟的博客
04-17 2175
目录 验证RDMA内核模块是否已加载 检查主机上是否有可用的RDMA网卡 测试RDMA通信 原文： https://blog.csdn.net/u012124304/article/details/100543216 验证RDMA内核模块是否已加载 在centos7中，可以用以下命令查看RDMA内核模块的状态： [root@pow...
【RDMA】基于RoCE的应用程序的MTU注意事项|探测网络中的MTU设置
我的笔记本
05-12 4664
原文：https://support.mellanox.com/s/article/MLNX2-117-1682kn 基于RoCE的应用程序的MTU注意事项 InfiniBand协议最大传输单元（MTU）定义了几个固定大小的MTU：256、512、1024、2048或4096字节。 使用在以太网上运行的RDMA的基于RoCE的应用程序应考虑到RoCE MTU小于以太网MTU（Ethernet MTU）。 （通常默认值为1500）。 驱动程序从上面的列表中选择比Ethernet MTU 小的最大.
【RDMA】HCA卡的MTU仅仅对IPOIB有效,对RDMA没有速度提升？ |IPoIB 和IBoE（ROCE、iWARP ）的区别
我的笔记本
05-11 2681
HCA卡的MTU仅仅对IPOIB有效,对RDMA没有速度提升. 另外的几个知识点: 1. HCA卡的MTU查看方式:ifconfig -a 2.HCA卡connect mode 也仅仅适用于IPOIB. 参考网址: https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/7/html/Networking_Guide/sec-Configuring_the_Subnet_Manager.html 原文链接：https
【微知】ib_write_bw如何指定rdma报文的mtu大小？（--mtu=1024； ibv_devinfo | grep -i mtu）
技术札记
03-12 665
他这个涉及是合理的，硬件上active了一个最大值mtu，实际指定参数的时候可以软件层修改大小，然后不超过硬件的mtu，就能灵活操作。可以看到最大值是4096，但是active的最大值是1024。并且前面报错3，说明是图中active mtu的index。可设置的最大值是active mtu。active mtu和ifconfig中相同。可以看到ifconfig的mtu修改后，在rdma中只会反应一半，为何？可以在实操图中看到MTU的值是256。
深入浅出全面解析RDMA
架构师技术联盟
02-14 1801
    RDMA(RemoteDirect Memory Access)技术全称远程直接内存访问，就是为了解决网络传输中服务器端数据处理的延迟而产生的。它将数据直接从一台...
RDMA知识点概要
探索未知，成就非凡
06-21 1413
分配的条目将被初始化并与相应的资源关联起来。这些工具包括ibv_*命令行工具（如ibv_devices、ibv_devinfo等），用于列举和查看RDMA设备信息，以及perfquery、rdma_bw等工具，用于性能测试和诊断。设备功能支持：mlx5_core实现了适配器的各种功能支持，包括网络传输协议（如InfiniBand和Ethernet）、内存管理、中断处理、事件通知、QoS（Quality of Service）、RoCE（RDMA over Converged Ethernet）等。
【RDMA】HCA卡的MTU仅仅对IPOIB有效,对RDMA没有速度提升？ |IPoIB 和IBoE（ROCE、iWARP ）的区别...
小鱼菜鸟的博客
05-11 541
目录 IPoIB(IP over InfiniBand) IPoIB 和IBoE(ROCE、iWARP )的区别 HCA卡的MTU仅仅对IPOIB有效,对RDMA没有速度提升---- 存疑，未验证！ 另外的几个知识点: 1. HCA卡的MTU查看方式:ifconfig -a 2.HCA卡connect mode 也仅仅适用于IPOIB. 参...
【RDMA】infiniband网卡安装|InfiniBand 连接和状态诊断工具|测试RDMA网卡是否正常工作...
小鱼菜鸟的博客
07-22 3208
目录 1. 基础知识 一、诊断工具--翻译中 2. 驱动安装 3.配置IP 4. 性能测试 5. 其他问题 RDMA 、InfiniBand、IB卡、IB驱动的关系 问题记录 原文：infiniband网卡安装、使用总结 - 山河故人abin - 博客园 最近多次安装、使用infiniband网卡，每次都要到处寻找相关资料...
17、InfiniBand和RDMA网络配置指南
最新发布
vulkan6gpu的博客
09-02 82
本文详细介绍了InfiniBand和RDMA网络的配置方法，包括RXE设备操作、连通性验证、基础RDMA子系统配置、远程SRP目标连接、以及子网管理器配置等内容。通过逐步操作指南和示例命令，帮助用户实现高效的RDMA网络通信和设备连接。
科普文：软件架构网络系列之【RDMA技术梳理】
为无为，事无事，味无味。
12-02 3146
有条件的装在两台服务器上，没条件的装在一台服务器上。RDMA 有一堆的管理工具和测试工具，慢慢都归集于linux-rdma/rdma-core[1]项目下，甚至这些工具都有 man 手册，比如ibv_devices[2],可以说非常友好了，你只需要知晓有哪些工具，大概是干什么的，具体使用的时候查询它的 man 手册就好了。所谓直接，指的是可以像访问本地内存一样，绕过传统以太网复杂的TCP/IP网络协议栈读写远端内存，而这个过程对端是不感知的，而且这个读写过程的大部分工作是由硬件而不是软件完成的。
RDMA学习笔记
as101330的博客
10-30 1644
RDMA学习笔记 基本操作 Memory verbs : 包括 RDMA read,write,atomic 操作，绕过接受者的CPU Messaging verbs ：包括RDMA send,receive 操作，涉及响应者的CPU 三种不同的硬件实现 三种实现为 ：Infiniband，RoCE，iWRP Infiniband是一种专为RDMA设计的网络，从硬件级别保证可靠传输 ，...
大模型行研：算力加速的技术标准 - RDMA
m0_59164304的博客
08-30 2023
远程直接内存访问 (RDMA) 是一种允许联网计算机直接访问彼此主内存的技术，无需涉及处理器、缓存或操作系统，是一个由多个公司和组织合作开发的技术标准。这种旁路方法减少了 CPU 负载并降低了延迟，从而实现更快的数据传输速度，非常适合需要高速数据传输的应用，例如高性能计算 (HPC) 集群、数据中心网络和大数据分析。可以这样形象化理解：以前：快速是需要送到大楼的收发室里，再由收发室送到收件人手里，收到收发室大爷的处理能力影响，同时处理的快递数量有限，且有延迟现在：快递从发件人直接送到收件人手里。
RDMA高速低延时网络：流动缓存背后的功臣
weixin_34054931的博客
08-09 398
戴尔Fuild Cache for SAN，在服务器闪存缓存与SAN阵列的集成方面可谓独树一帜。相信一些读者对该技术已经不陌生，除了那500万IOPS的Demo之外，网上也能找到相关资料和分析的文章，如：《性能与ILM的平衡：服务器闪存缓存的思考》。今天我们想回顾一下Fuild Cache for SAN的独特技术优势，以及在流动缓存背后的功臣——RD...
CentOS下IPoIB（IP over InfiniBand）网络接口的配置过程
Warren_Hoo的专栏
02-18 1万+
1.查看HCA端口状态，若State为Active，则表示正常，方可继续执行后面的步骤。 ibstat 2.创建文件/etc/sysconfig/network-scripts/ifcfg-ib0，文件内容如下： DEVICE=ib0 BOOTPROTO=static IPADDR=10.0.0.5 NETMASK=255.255.255.0 BROADCAST=10.0.0.255 NET
高性能NFS IPoIB RDMA
02-11 2492
测试条件。文章比较早期，还用的ext2格式，硬盘用的SATA，跑不满10Gb的网卡。不过测试过程和结果还是比较有价值的 NFS over IPoIB / NFS over RDMA 测试结果 datagram mode 使用数据报模式时( datagram mode)，不可靠、断开的队列对不允许大于 InfiniBand 链接层 MTU 的数据包通过。IPoIB 层会在要传输的 IP 数据包顶部添加一个 4 字节的 IPoIB 标头。因此，IPoI...
IPoIB
qq_20990333的博客
08-15 740
原文链接：https://zhuanlan.zhihu.com/p/523265464Upper Layer Protocol IPoIB ULP是在IB网络上运行的一个网络接口，IPoIB通过InfiniBand连接或数据报传输服务封装IP数据报，实现了一下功能：在IB网络通过子接口实现vlan模拟 通过bonding实现高可用HA 改变MTU的值 接收数据包的计算校验和 两种运行模式：dategram和connected connected模式支持large MTU IPoIB 还支持下面功能的基于软件
初识RDMA技术——RDMA概念，特点，协议，通信流程
热门推荐
kaili的博客
11-29 1万+
1. RDMA概念 在DMA技术中，外部设备（PCIe设备）能够绕过CPU直接访问主机的系统主存； RDMA（Remote Direct Memory Access）在概念上是相对于DMA而言的。指外部设备能够绕过CPU，不仅可以访问本地主机的主存，它还可以访问另一台远端主机上用户态的系统主存。 2. RMDA与Socket Socket通信示意图： 在传统的Socket套接字网络中，应用程序向操作系统申请网络资源时，要通过特定的API来管理程序的行为。 RDMA通信示意图： RDMA仅仅使用操作系
IPoIB（IP over InfiniBand）数据接收与发送机制详解
数字人生
01-25 1732
接收数据：IPoIB驱动从InfiniBand网卡的接收队列中获取数据包，将其转换为sk_buff结构，并交给Linux内核的网络栈处理。发送数据：IPoIB驱动从网络栈获取数据包，将其封装成InfiniBand数据包，并通过InfiniBand网卡的发送队列发送出去。IPoIB驱动通过InfiniBand的硬件队列与Linux内核的网络栈进行交互，实现了在InfiniBand网络上传输IP数据包的功能。
IB卡和HCA卡有什么区别
07-09
InfiniBand（IB）卡与HCA（Host Channel Adapter，主机通道适配器）卡在技术上存在一定的关联和区别。尽管HCA是InfiniBand体系结构中的一部分，但两者在功能、应用场景及实现方式上有明显不同。 ### InfiniBand卡的基本特性 InfiniBand是一种高性能、低延迟的网络互连技术，主要用于数据中心、超级计算集群等对性能要求较高的场景。InfiniBand卡通常支持完整的InfiniBand协议栈，并能够提供端到端的数据传输能力。其主要特点包括： - 支持RDMA（Remote Direct Memory Access），可直接访问远程主机内存而无需CPU干预，从而显著降低延迟并提高吞吐量。 - 提供高带宽和低延迟的通信能力，适用于大规模并行计算环境。 - 通过子网管理器（Subnet Manager）进行集中式管理，确保网络的稳定性和高效性[^2]。 ### HCA卡的功能与作用 HCA卡是InfiniBand架构中的关键组件之一，属于InfiniBand卡的一种具体实现形式。它作为主机与InfiniBand网络之间的接口设备，负责数据包的发送和接收。HCA的主要功能包括： - 实现InfiniBand协议的物理层和链路层功能，为上层应用提供通信接口。 - 支持RDMA操作，从而绕过主机CPU和操作系统，实现高效的点对点通信。 - 管理本地连接标识符（LID），确保每个端口在子网内具有唯一的地址标识[^3]。 ### 技术区别总结 1. **概念范围**：InfiniBand卡是一个更广泛的概念，涵盖所有支持InfiniBand协议的网络设备，而HCA卡是其中专门用于主机连接的适配器类型。 2. **功能侧重**：InfiniBand卡可能包含交换机、路由器等设备，而HCA卡专注于为主机提供高速互联能力。 3. **应用场景**：HCA卡通常用于服务器或计算节点，以接入InfiniBand网络；而其他类型的InfiniBand卡则可能用于构建网络基础设施。 ### 示例代码：查看HCA卡状态 以下是一个使用`ibv_devinfo`命令查看HCA卡状态的示例： ```bash [root@node2 ~]# ibv_devinfo hca_id: mlx4_0 transport: InfiniBand (0) fw_ver: 2.35.5100 node_guid: 248a:0703:005d:07f0 sys_image_guid: 248a:0703:005d:07f3 vendor_id: 0x02c9 vendor_part_id: 4099 hw_ver: 0x1 board_id: MT_1090120019 phys_port_cnt: 2 port: 1 state: PORT_ACTIVE (4) max_mtu: 4096 (5) active_mtu: 4096 (5) sm_lid: 4 port_lid: 4 port_lmc: 0x00 link_layer: InfiniBand port: 2 state: PORT_ACTIVE (4) max_mtu: 4096 (5) active_mtu: 4096 (5) sm_lid: 8 port_lid: 12 port_lmc: 0x00 link_layer: InfiniBand ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值