Linux: network: mlx5_core crash；dos

最新推荐文章于 2025-05-12 10:48:36 发布
最新推荐文章于 2025-05-12 10:48:36 发布
阅读量414 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： kernel 网络 文章标签： linux 运维 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_36428903/article/details/140786026
kernel 同时被 2 个专栏收录
335 篇文章 ¥69.90 ¥99.00
订阅专栏
网络
237 篇文章 ¥59.90 ¥99.00
订阅专栏

https://bugzilla.redhat.com/show_bug.cgi?id=CVE-2024-41090
https://git.kernel.org/pub/scm/linux/kernel/git/stable/linux.git/commit/?id=8be915fc5ff9a5e296f6538be12ea75a1a93bdea
https://www.openwall.com/lists/oss-security/2024/07/24/4
是tap的驱动向下传递的包的length太小，而mlx5_core 默认的最小是一定的，导致访问越界出现问题。一个问题mlx5应不应该做一些校验，避免此类事情的发生。

intel的网卡是有这种问题包的预校验。

Linux:network:driver:mlx5:mtu:rx_oversize_pkts_sw_drop；mellanox；MRU，接收包的MTU限制
mzhan017的博客
09-12 346
增加计数的原因是这个cqe_bcnt 超过了hw_mtu，导致丢包。从代码逻辑这个hw_mtu的值就是ip link里显示出来的mtu值。这个计数的理解是：收到了超过限定大小的包，软件丢弃包；最近遇到一例，收到的包比较大的时候丢包的问题。
k8s mellanox网卡使用dpdk驱动问题总结
fengcai_ke的博客
07-12 4227
k8s mellnox网卡mlx4/5使用dpdk问题总结
DPDK-A1:Centos配置MLX5驱动
lingshengxiyou的博客
11-19 1543
需要注意的是安装了ofed驱动和支持mlx5_pmd的网卡不需要bind，直接就可以使用，我们还是使用上次的框架，稍微改改收发包程序，来测一下pps。和ubuntu一类的系统不同，CentOS上需要添加/usr/local路径, 主要是。在安装的时候请您勾选一下组件, 虚拟化的东西是后面在虚拟机里面跑DPDK需要用到的.主要是用于后面安装mlx5 ofed和编译DPDK所需的工具，注意下面的一个都不能少。更多DPDK相关学习资料有需要的可以自行报名学习,免费订阅,永久学习,或点击这里加。
DPDK mlx5 驱动使用报错
choumin的专栏
08-01 9920
有报错的话，按照提示进行修改和配置，比如修改配置文件、修改安装脚本、增加命令行参数、卸载某些有冲突的软件包等等。这三种方式我都花了不少的时间尝试过，结论是直接推荐第二种，因为其他两种方式安装成功后，还是有问题，可能是组件之间的版本不匹配。调试也只能定位到外部组件的问题，但为什么产生那个问题却不知道，还是得踏踏实实的把环境配好。毫无疑问，在安装上述组件的过程中或多或少会遇到一些问题，不然也不值得写这篇博客了。架构对应的版本，如果没有，则下载一个最为相近的版本（这个问题被我遇到了）。中，该网卡对应的驱动是。..
MLX5 Linux 驱动代码分析
zly8865372的博客
05-12 2383
Mellanox ConnectX 系列网卡的 Linux 驱动 (mlx5) 是一个高性能 RDMA 和 Ethernet 驱动，支持 InfiniBand 和 Ethernet 功能。
DPDK初始化Mellanox失败（mlx5）无法获取VF
快乐小半半的博客
06-10 6963
错误如下EAL: VFIO support initialized EAL: Probe PCI driver: mlx5_pci (15b3:101e) device: 0000:12:01.0 (socket 0) mlx5_pci: no Verbs device matches PCI device 0000:12:01.0, are kernel drivers loaded? common_mlx5: Failed to load driver = mlx5_pci. EAL: Requeste
dpdk 程序适配麦洛斯 mlx5 网卡
龙瑜的博客
01-08 6706
使用 dpdk-16.04 版本的数通引擎需要适配 Mellanox 网卡，需要支持 dpdk secondary 进程正常收发包。
NVIDIA以太网卡ConnectX-4/5/6 使用 KVM虚拟化时如何配置 SR-IOV？
qq_27815483的博客
07-24 1617
本文主要介绍如何在KVM虚拟化上开启SR-IOV使PCI设备更好的支持虚拟化
DPDK官方信息查看
legend050709的专栏
11-11 3443
目录总览dpdk doc手册API 手册guides 手册dpdk支持的硬件dpdk 源码下载dpdk 对于网卡驱动的支持 总览 dpdk doc手册 dpdk doc文档、手册 https://www.dpdk.org/ ---> DPDK Core --->Document 各个版本的手册： API 手册 API 手册 介绍了当前版本的DPDK的 模块，源码（example例子的源码，各个文件分布，头文件、函数的源码等）； guides 手册 guides 手册
DPDK — 安装部署
kobe24fgy的博客
01-04 8739
1、基础环境 1.1、硬件配置 1.2、操作系统要求 2、测试环境编译测试过程 2.1、升级GCC版本至GCC-7.3.0 步骤1 升级GCC依赖包设置 ########## 编译安装gmp ########### cd /home tar -xvf /home/gmp-6.1.2.tar.bz2 cd /home/gmp-6.1.2 ./configure --prefix=/usr/local/gmp-6.1.2 make make install ########## 编译安装mpf
【硬件相关】Mellanox网络配置及参数优化
Luxf0的博客
03-04 6561
本文主要介绍Mellanox网络配置、部署管理及相关调优手段，用于后续部署实践参考使用
linux-mlx5
03-17
linux-mlx5
Mellanox OFED驱动中PCIe驱动主要初始化流程函数图？（struct pci_driver mlx5_core_driver、probe_one、mlx5_load）
技术札记
03-02 284
经常需要去看mlx的PCIe初始化流程，尤其是mlx5_load, 但实际与PCIe初始化过程的关系和时机的全局图很难从单个函数或者单次跟踪某个行为查看，本文主要以PCIe初始化为锚点，注册PCIe驱动到Linux驱动框架后，PCIe设备被scan到之后调用probe函数为主要流程的图。
【问题实操】银河高级服务器操作系统实例分享，开机之后反复重启
银河麒麟操作系统的博客
05-09 2066
【问题实操】银河高级服务器操作系统实例分享，开机之后反复重启。
Mellanox网卡驱动——representor框架学习
leiyanjie8995的博客
12-06 5581
背景：DPU多是参考mellanox网卡软硬件框架。对于ovs快速转发路径硬化的场景，网络报文进入进入FPGA的网口，如果流表匹配，直接通过快速路径送到主机。如果不能匹配，则需要soc上的ovs慢速路径创建新的流表项，然后下发给FPGA。 云场景下，一般都是虚拟机和容器的场景，网卡会开启VF，每个VF都可以作为一个网卡设备使用。mellanox的网卡针对这种场景使用了representor的概念。在soc上为每个representor口虚拟出了一个representor，每个representor都对应一
Intel/Mellanox 网卡使用DPDK
妳为谁隐身
09-16 9325
在RedHat8.2下安装dpdk环境，对于我只是测试网卡是否正常支持DPDK，或者是DPDK功能是否兼容此系统和服务器，集体调优什么的就不去做，仅仅去测试一下而已，目前的测试方案也只是将两个网口回路，来进行收发包测试，下面是我接触过的两种型号的厂商 Intel（英特尔） 和 Mellanox（迈络思），二者的稍有区别，intel的网卡使用DPDK，需要将网卡绑定DPDK内核（是需要UIO/igb_uio等内核模块），而Mellanox网卡则不需要绑定DPDK内核（也不需要UIO/igb_uio等内核模
OFED简介
热门推荐
祈晴小义
08-20 1万+
OPED简介简介Mellanox OFED栈的架构mlx4 VPI Drivermlx5 Driver上层协议（ULP）IP over IB (IPoIB)Mellanox OFED包ISO镜像软件组件模块参数 简介 Mellanox OFED是一个单独的VPI(Virtual Protocol Interconnect，虚拟协议互联)软件栈。文档地址：https://docs.mellanox....
【报错处理】ib_write_bw执行遇到Failed to modify QP 358 to RTR原因与解决办法？
技术札记
05-19 2571
QP可以处于不同的状态，其中RTR（Ready to Receive）是QP状态之一，表示QP已经准备好接收消息。两个IB接口并未链接，但是两个IB接口的服务器是能够互通的时候会出现该问题。更改拓扑，让测试的两个port在IB上能够通。比如直连或者交换机处理。命令: ib_write_bw 1.1.1.1。
ucp_context.c:1019 UCX WARN network devices 'mlx5_1:1','mlx5_2:1','mlx5_3:1' are not available, please use one or more of: 'bond0'(tcp), 'bond2'(tcp), 'ib0'(tcp), 'lo'(tcp), 'mlx5_0:1'(ib) Parsed 50 entries in GEOGRID.TBL Processing domain 1 of 1 Processing XLAT and XLONG ERROR: Error in ext_pkg_open_for_write_begi
最新发布
07-15
<think>我们首先需要解决两个问题： 1. 解决UCX环境中的警告：`ucp_context.c` 报告网络设备 `mlx5_1:1`, `mlx5_2:1`, `mlx5_3:1` 不可用。 2. 修复在GEOGRID.TBL处理中的XLAT和XLONG错误。 根据引用[2]：问题可能与UCX申请固定内存（pinned memory）失败有关。因为守护服务（可能是trtllm）通过mLock()限制了可锁定内存，而`ulimit -l`默认只有8192KB，导致UCX无法申请足够的固定内存。 ### 步骤1: 解决UCX警告（网络设备不可用） UCX使用InfiniBand设备（如mlx5）进行高速通信，但需要足够的固定内存（pinned memory）来注册内存区域。如果固定内存不足，设备可能无法使用。 #### 解决方案： 1. **增加可锁定内存限制**： - 临时增加：`ulimit -l unlimited`（当前会话有效） - 永久增加：编辑`/etc/security/limits.conf`，添加： ``` * hard memlock unlimited * soft memlock unlimited ``` 然后重启系统或重新登录。 2. **检查UCX环境变量**： UCX提供了环境变量来调整内存使用。可以尝试设置： - `UCX_TLS=rc`：强制使用RC传输（Reliable Connection），避免使用不可用的设备。 - 或者明确指定设备：`UCX_NET_DEVICES=mlx5_0:1`（如果只有一个设备可用，或者选择可用的设备） 但是，根据警告信息，mlx5_1:1, mlx5_2:1, mlx5_3:1不可用，可能系统中实际可用的设备是`mlx5_0:1`。因此，可以尝试： ```bash export UCX_NET_DEVICES=mlx5_0:1 ``` 3. **验证设备状态**： 使用`ibv_devinfo`命令检查InfiniBand设备的状态。确保设备状态为`PORT_ACTIVE`。 4. **在代码中配置UCX**： 如果是在应用程序中使用UCX，可以在初始化时设置传输层和网络设备： ```c // 示例：设置UCX上下文参数 ucp_params_t params; memset(&params, 0, sizeof(params)); params.field_mask = UCP_PARAM_FIELD_FEATURES | ...; // ... 其他参数 // 设置传输层和网络设备 const char *tls = "rc"; // 使用RC传输 ucp_config_modify(config, "NET_DEVICES", "mlx5_0:1"); ucp_config_modify(config, "TLS", tls); ``` ### 步骤2: 修复GEOGRID.TBL处理中的XLAT和XLONG错误 这个错误可能发生在气象模型（如WRF）的预处理阶段。GEOGRID.TBL是地理网格化配置文件，其中定义了如何从输入数据集中提取变量（如XLAT, XLONG）。 #### 常见原因： 1. **变量名不匹配**：输入数据集（如NetCDF文件）中的纬度/经度变量名与GEOGRID.TBL中定义的不一致。 2. **维度顺序问题**：NetCDF文件中的维度顺序（例如，纬度在前还是经度在前）与期望不符。 3. **文件路径错误**：GEOGRID.TBL中指定的路径不正确，导致找不到输入文件。 #### 解决方案： 1. **检查GEOGRID.TBL文件**： 找到定义XLAT和XLONG的部分。示例： ``` name=XLAT dest=grid interp_option=default:nearest_neighbor ... ``` 确保`name`正确，并且`from`部分指定了正确的数据集。 2. **检查输入数据集**： 使用`ncdump`查看输入NetCDF文件的变量和维度： ```bash ncdump -h input_file.nc ``` 确认其中包含纬度（XLAT或LATITUDE）和经度（XLONG或LONGITUDE）变量，并注意大小写。 3. **调整维度顺序**： 如果发现维度顺序与期望相反（例如，期望是（时间，纬度，经度）但文件是（时间，经度，纬度）），可以在GEOGRID.TBL中指定转置： ``` interp_option=default:nearest_neighbor+transpose ``` 4. **检查文件路径**： 在GEOGRID.TBL中，确保`file_path`指向正确的目录，并且文件名模式匹配。 5. **更新WRF版本**： 如果使用WRF，考虑更新到最新版本，因为旧版本可能对某些数据集支持不好。 ### 综合两个问题： 这两个问题可能是独立的，但都发生在高性能计算环境中。首先解决UCX的内存问题，确保网络设备可用，从而避免通信错误。然后，再处理地理网格化中的配置问题。 ### 验证： 1. 运行UCX自带的测试工具（如`ucx_perftest`）验证设备是否可用。 2. 运行地理网格化步骤（如运行`geogrid.exe`）并检查日志输出。 ### 引用： - 关于UCX固定内存问题，参考引用[2]。 - 关于UCX接口和函数，参考引用[3]。 §§相关问题§§ 1. 如何诊断UCX网络设备不可用的问题？ 2. 除了增加锁定内存，还有哪些方法可以优化UCX性能？ 3. 在WRF预处理中，GEOGRID.TBL的常见错误有哪些？如何调试？ 4. 如何配置UCX以使用特定的网络设备（如mlx5）？</think>### 解决 UCX 网络设备不可用警告与 GEOGRID.TBL 错误 #### 一、解决 UCX 网络设备不可用警告 **问题分析** 警告 `ucp_context.c: network devices mlx5_1:1, mlx5_2:1, mlx5_3:1 不可用` 表明 UCX 无法访问 Mellanox 网卡。根据引用[2]，根本原因是 **内存锁定限制**（`ulimit -l` 默认值过低）导致 UCX 无法申请足够的固定内存（pinned memory）。 **解决方案** 1. **增加内存锁定限制** ```bash # 临时生效（当前会话） ulimit -l unlimited # 永久生效（需root权限） echo "* soft memlock unlimited" >> /etc/security/limits.conf echo "* hard memlock unlimited" >> /etc/security/limits.conf ``` 重启服务或系统使配置生效[^2]。 2. **验证内存锁定限制** 执行命令检查是否生效： ```bash ulimit -l # 应返回 "unlimited" ``` 3. **检查网卡状态** 确认网卡驱动正常加载： ```bash ibstatus # 检查 InfiniBand 设备状态 ibv_devinfo # 查看详细设备信息 ``` 4. **配置 UCX 环境变量**（可选） 若问题仍存在，指定 UCX 使用可用设备： ```bash export UCX_NET_DEVICES=mlx5_0:1 # 替换为可用设备名 export UCX_TLS=rc # 强制使用可靠连接协议 ``` #### 二、修复 GEOGRID.TBL 中的 XLAT/XLONG 错误 **问题分析** `XLAT/XLONG` 错误通常由 **数据格式不匹配** 或 **投影配置错误** 引起，常见于 WRF 等气象模型的地理数据处理阶段。 **解决方案** 1. **检查数据源格式** - 确认输入数据（如 NetCDF 文件）包含正确的经纬度变量名（通常为 `XLAT`/`XLONG` 或 `lat`/`lon`）。 - 使用 `ncdump -h input_file.nc` 检查变量名和维度。 2. **修改 GEOGRID.TBL 配置** 在 `GEOGRID.TBL` 中明确定义变量映射： ```plaintext name = XLAT dest_type = continuous interp_option = default:average_gcell(4.0)+four_pt+average_4pt from_input = .TRUE. fill_missing = 0.0 missing_value = -1.E36 ``` 3. **验证投影参数** 在 `namelist.wps` 中检查投影一致性： ```plaintext &geogrid map_proj = 'lambert' ref_lat = 35.0 ref_lon = 110.0 truelat1 = 30.0 truelat2 = 60.0 / ``` 4. **重运行地理处理** 清理旧文件后重新生成： ```bash rm geo_em.d* # 删除旧地理文件 ./geogrid.exe # 重新运行 ``` #### 三、完整操作流程 1. 调整内存锁定限制 → 重启系统 2. 验证网卡状态：`ibstatus` 3. 检查输入数据变量：`ncdump -h input.nc` 4. 修改 `GEOGRID.TBL` 和 `namelist.wps` 5. 重新执行地理网格化： ```bash ./link_grib.csh /path/to/data # 链接数据 ./geogrid.exe ``` > **关键点**：UCX 的内存锁定限制是网络设备不可用的常见原因[^2]，而 `XLAT/XLONG` 错误需确保数据变量名与投影参数匹配。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

mzhan017

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值