【报错处理】ib_write_bw执行遇到ethernet_read_keys: Couldn‘t read remote address解决办法？

最新推荐文章于 2025-03-12 02:46:41 发布
原创 最新推荐文章于 2025-03-12 02:46:41 发布 · 2.2k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#mellanox #rdma

文章探讨了在光纤通信中遇到的拓扑问题，由于服务器未指定多qp导致客户端异常。解决方法是双方都设置相同的qp值，ib_write_bw命令中的ib-dev参数和qp参数应保持一致。实施此解决策略后，数据交换得以正常进行。

文章目录

拓扑

光纤
Server
IP addr: 1.1.1.1
CMD: ib_write_bw
Client
IP addr: 1.1.1.2
命令: ib_write_bw 1.1.1.1

现象

报错：

ethernet_read_keys: Couldn’t read remote address
Unable to read from socket/rdma_cm
Failed to exchange data between server and clients

在这里插入图片描述

根因

server端启动未指定多qp，client指定多qp出现异常

# s:
ib_write_bw --ib-dev=mlx5_1

# c:
ib_write_bw --ib-dev=mlx5_0 1.1.1.1 --qp=10

解决办法

server端和client指定相同的qp

# s:
ib_write_bw --ib-dev=mlx5_1 --qp=10

# c:
ib_write_bw --ib-dev=mlx5_0 1.1.1.1 --qp=10

解决后效果

在这里插入图片描述

【报错处理】ib_write_bw执行遇到Couldn‘t listen to port 18515原因与解决办法？
技术札记
04-30 1314
要点： 相关命令： 现象： 端口18515被其他程序占用。 确认方法：netstat 命令来检查端口的占用情况 实操：看到已经被占用 client端和server端均使用–port或者-p指定端口（TCP使用的端口） 参数说明： 指定端口执行命令： 解决后效果 方法1： 实操效果： Server: Client： 方法2： 实操效果： 原理： RDMA建链默认使用18515端口，先基于TCP进行交互建链数据，然后根据建链数据走RDMA通道。也就是建链走ETH通道，实际数据走RDMA通道。
【报错处理】ib_write_bw执行遇到Found Incompatibility issue with GID types.原因与解决办法
技术札记
04-30 1257
Server设置了IP地址，Client未设置IP地址（初期启动，环境中没有DHCP服务器）。ib_write_bw在Client端连接server时认为使用不同的IP version。命令: ib_write_bw 1.1.1.1。
微知-ib_write_bw的各种参数汇总?如何绑核?三种查看numa节点方式？（-d -q -s -R --run_infinitely,mr_per_qp
技术札记
11-19 4760
经常忘记使用ib_write_bw打流的一些参数，特此整理记录在这里方便快速查阅。尤其是run_infinitely这个参数容易写错。
ib_write_bw 和 ib_read_bw 测试 RDMA 的读写处理确定带宽
热门推荐
郑泽林
11-06 2万+
1、 使用 ib_read_bw 测试 RDMA 写速度： 首先你有两台有IB卡、装了ib驱动 的服务器。 服务器A：ib_write_bw -a -d mlx4_0 服务器B : ib_write_bw -a -F 服务器A的ip -d mlx4_0 --report_gbits 2、 使用 ib_write_bw 测试 RDMA 写速度： 服务器A : ib_write_bw -a -...
【报错处理】ib_write_bw报错Couldn‘t allocate MR处理办法？为什么root能通非root不通？(ulimit -l； /etc/security/limits.conf`)
技术札记
05-08 1412
ulimit是针对每个shell进程的，系统创建shell的时候会根据 /etc/security/limits.conf中来设置默认的限制值。另外要熟悉rdma的mem内存原理，知道锁内存的情况，结合ulimit就打通，从而进行设置和解决无法alloc MR的问题。ib_write_bw默认启动是65536的size。由于ib_write_bw在启动前reg mr的过程会pin mem，这里的pin mem就是锁住内存。在root能够正常执行ib_write_bw，但是在普通用户无法执行。
infiniband带宽测试方法1 ib_read/write_bw/lat
撞强※非专业，更专注
05-24 1万+
 一、带宽的测试。 1、找任意两台服务器，先查看IB的状态。 #ibstat 2、两台服务器都要重启IB的服务 # /etc/init.d/openibd restart 3、两台服务器都要开户子网管理器 #/etc/init.d/opensmd start 暂停子网管理器的命令是 # /etc/init.d/opensmd stop 4、第一台机执行 #ib_wri
【RDMA命令之】ib_write_bw如何启动高性能网卡带宽性能测试(s: ib_write_bw, c: ib_write_bw 1.1.1.1)
技术札记
05-01 9848
不指定IB方式：fill:#333;color:#333;color:#333;fill:none;光纤ServerClient命令: ib_write_bw 1.1.1.1指定IB方式：fill:#333;color:#333;color:#333;fill:none;光纤ServerIB: mlx5_0ClientIB: mlx5_1命令: ib_write_bw --ib-dev=mlx5_1 1.1.1.1。
【微知】ib_write_bw如何指定rdma报文的mtu大小？（--mtu=1024； ibv_devinfo | grep -i mtu）
技术札记
03-12 651
他这个涉及是合理的，硬件上active了一个最大值mtu，实际指定参数的时候可以软件层修改大小，然后不超过硬件的mtu，就能灵活操作。可以看到最大值是4096，但是active的最大值是1024。并且前面报错3，说明是图中active mtu的index。可设置的最大值是active mtu。active mtu和ifconfig中相同。可以看到ifconfig的mtu修改后，在rdma中只会反应一半，为何？可以在实操图中看到MTU的值是256。
【RDMA】InfiniBand IB常用命令
小鱼菜鸟的博客
04-17 1993
目录 1、常规 IB 监视命令 2、常规 IB 性能测试命令 3、光纤网络诊断工具 4、查询并报告非零 IB 端口计数器 原文;https://support.huawei.com/enterprise/zh/knowledge/EKB1001978581 1、常规 IB 监视命令 ibv_asyncwatch 监视 InfiniBan...
ib网卡命令_IB网卡驱动安装以及Infiniband连接带宽测试
weixin_39788382的博客
02-15 6446
文章目录一、环境与安装包二、IB网卡驱动安装2.1 解压驱动包2.2 安装2.3 配置IP2.4 启动服务2.5 IB网卡驱动卸载三、Infiniband连接性带宽测试3.1 查询IB设备信息3.2 测试连接性3.3 测试带宽3.4 测试网络延迟一、环境与安装包Node0:操作系统：Ubuntu 16.04STLIP设置： 10.0.0.1Node1:操作系统：Ubuntu 16.04STLIP设...
【报错处理】ib_write_bw执行遇到Failed to modify QP 358 to RTR原因与解决办法？
技术札记
05-19 2926
QP可以处于不同的状态，其中RTR（Ready to Receive）是QP状态之一，表示QP已经准备好接收消息。两个IB接口并未链接，但是两个IB接口的服务器是能够互通的时候会出现该问题。更改拓扑，让测试的两个port在IB上能够通。比如直连或者交换机处理。命令: ib_write_bw 1.1.1.1。
RDMA
NEWPLAN的专栏
01-09 1万+
流优先级 HowTo Run RoCE over L2 Enabled with PFC Default ToS to skprio mapping on Linux
6个常见的IB网络不通问题
华为云官方博客
06-26 5197
如果遇到IB网络不通，可以试着从高层往底层逐步分析看看。
Mellanox RoCE卡调试笔记
winux的专栏
09-24 1万+
拿到3块mellanox 的XC3卡，装到3个服务器上，开始RDMA调试。代码都是我自己的，使用rdma_cm库进行开发。Mellanox的RDMA是基于ROCE协议的，因此需要物理层保证可靠传输，不能丢包。为此交换机需要支持DCB， PFC等流控技术。这样子系统一下子就复杂了，为了简化系统，决定不使用交换机，把服务器之间用光纤直连。好在我只有3台服务器，刚好可以连起来，1台对2台即可。ubuntu
【RDMA】RDMA通信测试工具|RDMA信息查询工具
小鱼菜鸟的博客
07-22 8289
目录 RDMA性能测试工具集-perftest perftest安装 RDMA性能测试(测试性能如何) ibv_xxx_pingpong(带宽和往返时间) ib_send_bw/ib_write_bw(带宽) ib_send_lat\ib_write_lat (时延) ceph_perf_msgr_client/ceph_perf...
Conflicting CPU frequency values detected
xiaolantian的专栏
03-26 4003
在测试IB网络中，遇到如下问题： 1.在一个节点上启动ib_write_bw [root@storage2 ~]# ib_write_bw ------------------------------------------------------------------                     RDMA_Write BW Test  Number of qps   :
mellanox RDMA RoCE
weixin_34010949的博客
05-22 2022
一：首先根据系统发行版本下载对应的驱动，下载地址如下： http://www.mellanox.com/page/products_dyn?product_family=26&mtag=linux_sw_drivers 本次下载的驱动版本为：MLNX_OFED_LINUX-1.5.3-4.0.42-sles11-x86_64.tgz 二：添加针对当前内核的IB驱动 1.把下载...
IB网卡常用命令
dangdanding的专栏
07-13 2378
http://www.h3c.com/cn/d_202007/1317229_30005_0.htm
【main参数】main函数的参数|命令行参数
我的笔记本
10-24 3552
转载自：http://www.cnblogs.com/zerocc/archive/2010/12/17/1909642.html 第一个带参数的main。 #include int main(int argc,char *argv[]) { for(inti=0;i) { cout&...
ib_write_bw源码
最新发布
09-26
该文件通过编译时的宏定义来生成不同的程序（如ib_write_bw, ib_read_bw, ib_send_bw等）。 因此，我们可以这样回答： 您可以在rdma-core源码中的`librdmacm/examples/rdma_client.c`文件中找到ib_write_bw的...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值