【微知】Mellanox网卡如何查看网卡的模式是RoCE还是IB？（cma_roce_mode -d mlx5_0）

原创 于 2025-06-15 00:07:27 发布 · 452 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Mellanox #RDMA

背景

Mellanox网卡的模式有些时候需要查询，有些时候需要设置。本文记录查询和设置方法。

命令

cma_roce_mode -d mlx5_0 #读取
cma_roce_mode -d mlx5_0 -s 2 #设为值roce模式 1表示ib

在这里插入图片描述

实操

在这里插入图片描述

[吐槽][mellanox]RoCE的默认打开；rdma-core
mzhan017的博客
05-15 1176
Connector 5，这个网卡对应的OFED驱动所对应的设置是默认就启动RoCE的功能。这会导致一些问题，如果虚拟机上不需要这个功能，就会造成内存的浪费，而且少一个UDP端口的可用性。同时如果另外一个问题是，如果想disable RoCE的功能，需要在Host上做设置。而不能通过虚拟机层做配置disable这个功能，是比较糟糕的一个设计。多个产品如果有的需要使用RoCE，有不需要使用，而且这些VF都是公用的，有可能导致一些共享的问题。
【Mellanox命令系列之】Mellanox查看网卡信息的2个命令以及如何查看连接状态、速率等以及涉及2个RPM工具包？（ibstat、ibv_devinfo；IB diags包和ibverbs包）
技术札记
05-05 4432
这里可以得到2个Mellanox提供的工具rpm来源，一个是infiniband的diags一个是libibverbs提供的tools。ibstat 是infiniband-diags提供的调试工具，侧重点就是在物理设备层面，所以对于网卡更接近。ibstat 是infiniband-diags提供的工具，侧重点就是在物理设备层面，所以对于网卡更接近。（顺带提一句，如果是自己安装的系统，比如anolisos，建议选择全量的命令）ibv_devinfo 是libibverbs提供的工具，侧重点在用户层。
Mellanox网卡常用命令（固件，状态，线缆与模块）
aosudh的博客
11-09 1万+
显示当前链路状态，网卡支持速率（IB或ETH），线缆支持速率，以及当前连接opcode与故障提示。修改网卡的工作模式：（第2个网口是P2,仅适用于cx6及以前的卡，不适用于CX7）mlxlink 详细用法，可以更改接口速率，状态，与读取或写入线缆eeprom。需要修改的mac地址 sg 修改网卡的mac地址，详情看另一篇专栏。查询网卡固件具体名称，固件介绍与各种软件上的详细信息。显示DAC或者光模块的制造商信息，光功率，模块功耗。查询所有网卡的详细固件介绍与固件版本。读取线缆或模块的全部eeprom参数。
[Mellanox] 安装MFT并更改网卡IB模式为以太模式
guganly的专栏
02-27 2724
Notice：这里需要特别注意，更改完网卡模式部分服务器重启后IB网卡并不能工作在以太模式（目前发现H100和H800都不行），需要服务器强行断开电源半分钟后再加电启动才能正常切换到以太模式。如检查到缺失的软件包，将在会命令行提示，请按照提示操作。MFT是一套管理Mellanox网卡的工具，也是MLEX_OFED中的一部分。1、打开驱动下载页面，选择对应操作系统和版本，cpu架构，下载iso、tar包或者源码包都可以。命令再次查看网卡驱动版本，确保系统重启后新驱动依然生效。
【硬件相关】Mellanox网络配置及参数优化
Luxf0的博客
03-04 7234
本文主要介绍Mellanox网络配置、部署管理及相关调优手段，用于后续部署实践参考使用
Mellanox Infiniband卡切换IB/Ethernet模式
weixin_42322181的博客
05-22 3604
6.mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P1=2(是以太网模式)8..mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P1=1（是IB模式）9..mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P2=2（是IB模式）注：dev/mst/mt4119是通过mst status查看出来的。3.mst start 启动IB 卡。
在Ubuntu系统中，查看InfiniBand (IB) 网卡
格物智慧SkyPhy
12-11 2742
如果你想查看IB网卡的网络配置，可以使用`ifconfig`或`ip`命令。注意，`ifconfig`在一些新的Ubuntu版本中可能不再默认安装，而`ip`命令则是现代Linux系统推荐使用的工具。`ethtool`是一个非常有用的工具，它可以用来查看网卡的设置和统计信息，也可以用来修改网卡的某些参数。如果你需要了解关于IB适配器的PCI总线信息，可以使用`lspci`命令，并结合`grep`来过滤输出。除了`ibstat`之外，你还可以使用`ibv_devinfo`来获取更详细的IB设备信息。
【微知】Mellanox网卡的硬件counter工具 show_counter使用方法？(show_counters mlx5_0 | grep -E “rx_write_requests|rx_r)
技术札记
03-09 1196
背景 对于RDMA运行过程中产生过多少次out of sequence，多少次rx_write_request，多少次rx_read_request这种信息一般没有关注，但是Mellanox的mlnx-tools工具中的show_counters能够查看这些信息。尤其是有些场景还需要类似查看req、resp、mra等报文统计，但是很遗憾，将两个口bond到一起之后少了很多信息，本文主要针对没有bond之前的一些counter的记录需要先安装mlnx-tools的rpm包，具体参考https://blog.c
【微知】ib_write_bw如何指定rdma报文的mtu大小？（--mtu=1024； ibv_devinfo | grep -i mtu）
技术札记
03-12 654
他这个涉及是合理的，硬件上active了一个最大值mtu，实际指定参数的时候可以软件层修改大小，然后不超过硬件的mtu，就能灵活操作。可以看到最大值是4096，但是active的最大值是1024。并且前面报错3，说明是图中active mtu的index。可设置的最大值是active mtu。active mtu和ifconfig中相同。可以看到ifconfig的mtu修改后，在rdma中只会反应一半，为何？可以在实操图中看到MTU的值是256。
【微知】如何通过mlnx_perf命令观测Mellanox网卡端口数据流量？（mlnx_perf -i eth0、mlnx_perf -i eth1 -c 2、mlnx_perf -i x -t 3）
技术札记
03-05 782
mlnx_perf是用来对Mellanox网卡进行性能分析的有效工具，常用来观测端口的tx rx数据流量。使用mlnx_perf观测端口流量经常忘记参数。注意命令观测启动后需要有流量mlnx_perf才会打印数据。可以看到端口0的rx比较高，端口1的tx比较高。端口0和端口1进行打流。
mlnx-tools安装包x86版本
04-12
/etc/mellanox/hugepages.d /lib/udev/mlnx_bf_udev /sbin/doca-hugepages /sbin/mlnx-sf /sbin/mlnx_bf_configure /sbin/sysctl_perf_tuning /usr/bin/mlnx_dump_parser /usr/bin/mlnx_perf /usr/bin/mlnx_qos /usr...
微知-Mellanox网卡没有show_gids命令如何安装？为什么需要show_gids？（mlnx-tools-*.rpm；show_gids）
技术札记
10-15 1742
首先show_gids是属于mlnx-tools-*.rpm包里面。如果yum源没有可以直接在mlnx官网ofed的包里面下载然后安装包，或者下载然后解压出来直接使用。本文介绍一种最极限的方法解压后直接使用。首先，在mlnx的OFED随带的包里面，包含了mlnx的rpm包，理论上安装OFED能够自动安装，但是如果是OS的OFED，没有用MLNX的OFED可能需要自行安装。本文以 23.10-3.2.2.0-LTS 的OFED版本为例，从官网下载和安装。
Mellanox发布升级版RoCE软件 简化以太网RDMA部署
weixin_34032827的博客
09-02 968
Mellanox今天宣布，面向 RoCE（融合以太网上的RDMA）的全新软件驱动程序已上市。这一新的驱动程序旨在使用 RoCE 简化以太网上的 RDMA部署并保证高性能传输，同时无需特意对网络做 “不丢包”的相关配置。这就使得云、存储和企业客户可更加快速而轻松地部署 RoCE，同时可提升应用程序性能、提高基础设施的效率并降低成本。 “RoCE 内...
Mellanox RoCE卡调试笔记
热门推荐
winux的专栏
09-24 1万+
拿到3块mellanox 的XC3卡，装到3个服务器上，开始RDMA调试。代码都是我自己的，使用rdma_cm库进行开发。Mellanox的RDMA是基于ROCE协议的，因此需要物理层保证可靠传输，不能丢包。为此交换机需要支持DCB， PFC等流控技术。这样子系统一下子就复杂了，为了简化系统，决定不使用交换机，把服务器之间用光纤直连。好在我只有3台服务器，刚好可以连起来，1台对2台即可。ubuntu
Mellanox驱动加载与RoCE & soft-RoCE(RDMA)
开源&&分享
08-12 5039
处理器(cpu) 内存 I/o设备(外设)三者之间的关系（1）没有DMA参与的访问方式：假设I/O设备为一个普通网卡，为了从内存拿到需要发送的数据，然后组装数据包发送到物理链路上，网卡需要通过总线告知CPU自己的数据请求。然后CPU将会把内存缓冲区中的数据复制到自己内部的寄存器中，再复制到I/O设备的存储空间中。如果数据量比较大，那么很长一段时间内CPU都会忙于搬移数据，而无法投入到其他工作中去。CPU的最主要工作是计算，而不是进行数据复制，这种工作属于白白浪费了它的计算能力。......
RoCEv2网络部署----Mellanox网卡配置
老网工的岁月独白
11-01 1万+
mlnx_qos -i ens1np0 -s ets,ets,ets,ets,ets,ets,strict,strict -t 10,10,10,50,10,10,0,0 设置出向队列调度，tc7，tc6严格优先级，tc0-5按权重轮询。mlnx_qos -i ens1np0 -f 0,0,0,1,0,0,0,0 开启priority 3 pfc。mlnx_qos -i ens1np0 -r 0,0,0,0,0,0,30,20 队列限速。设置队列3 PFC，后面打流测试让RoCEv2流量跑在队列3中，
RDMA技术简介
weixin_45383658的博客
07-20 4231
RDMA 技术基于传统以太网的网络概念，但与以太网网络中的同类技术存在差异。关键区别在于，RDMA 提供了一种消息服务，应用程序可以使用该服务直接访问远程计算机上的虚拟内存。RDMA 通过绕过软件协议栈和避免不必要的数据复制来实现低时延、降低 CPU 占用率、减少内存带宽瓶颈和提供高带宽。RDMA 提供基于通道的 I/O，该通道使得应用程序可以使用 RDMA 设备直接读取和写入远程虚拟内存。
麒麟V10部署ROCEv2网卡配置步骤
weixin_30092093的博客
04-25 164
如果在操作中遇到问题，可以优先检查驱动版本和交换机配置是否匹配，这是最常见的故障点。默认情况下，RDMA可能运行在RoCEv1模式（基于以太网二层），而RoCEv2需要切换到三层IP模式。转载于: https://www.cnblogs.com/wenlf136/p/18822898。（例如mlx5系列），并且已安装最新的OFED驱动包。工具调整QoS策略，确保RoCE流量获得足够的带宽。在开始配置之前，首先要确保你的服务器硬件满足要求。如果服务器连接到交换机，需确保交换机配置与网卡一致。
Nvidia_Mellanox_CX5和6DX系列网卡_RDMA_RoCE_无损和有损_DCQCN拥塞控制等技术简介-一文入门RDMA和RoCE有损无损 rdma rocev2 无损 有损
ssbandjl的博客
07-23 6124
随着互联网, 人工智能等兴起, 跨机通信对带宽和时延都提出了更高的要求, RDMA技术也不断迭代演进, 如: RoCE(RDMA融合以太网)协议, 从RoCEv1 -> RoCEv2, 以及IB协议, Mellanox的RDMA网卡cx4, cx5, cx6/cx6DX, cx7等, 本文主要基于CX5和CX6DX对RoCE技术进行简介, 一文入门RDMA和RoCE有损及无损关键技术RoCE: RDMA融合以太网, 继承RDMA所有的优势WQE: 工作队列元素, 可发音(wuki)CQE: 完成队列元素,
Mellanox 网卡切换IB/Ethernet模式
最新发布
06-27
Mellanox ConnectX 系列网卡支持在 InfiniBand（IB）和以太网（Ethernet）模式之间切换，这种功能基于其双驱动架构设计，允许设备根据应用场景选择合适的网络协议栈[^1]。切换操作主要依赖于 `mlxconfig` 工具对设备...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值