Mellanox OFED驱动中PCIe驱动主要初始化流程函数图？（struct pci_driver mlx5_core_driver、probe_one、mlx5_load）

原创 已于 2025-03-02 23:51:55 修改 · 383 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Mellanox

于 2025-03-02 23:07:01 首次发布

背景

经常需要去看mlx的PCIe初始化流程，尤其是mlx5_load, 但实际与PCIe初始化过程的关系和时机的全局图很难从单个函数或者单次跟踪某个行为查看，本文主要以PCIe初始化为锚点，注册PCIe驱动到Linux驱动框架后，PCIe设备被scan到之后调用probe函数为主要流程的图。

主要流程图

缩略图：
在这里插入图片描述
详细图：

mlx5_core.ko
init
mlx5_core_verify_params
mlx5_fpga_ipsec_build_fs_cmds
mlx5_register_debugfs
mlx5_create_core_dir
pci_register_driver
struct pci_driver mlx5_core_driver
.probe = probe_one,
.remove = remove_one,
.suspend = mlx5_suspend,
.resume = mlx5_resume,
.shutdown = shutdown,
.driver.pm = mlnx_pm,
.err_handler = &mlx5_err_handler,
.sriov_configure = mlx5_core_sriov_configure,
.sriov_get_vf_total_msix = mlx5_sriov_get_vf_total_msix,
.sriov_set_msix_vec_count = mlx5_core_sriov_set_msix_vec_count,
mlx5_sf_driver_register
mlx5e_init
cleanup
probe_one
remove_one
mlx5_suspend
mlx5_resume
shutdown
mlx5_err_handler
mlnx_pm
struct dev_pm_ops mlnx_pm
.suspend = suspend,
.resume = resume,
suspend
resume
struct pci_error_handlers mlx5_err_handler
.error_detected = mlx5_pci_err_detected,
.slot_reset = mlx5_pci_slot_reset,
.resume = mlx5_pci_resume
};
mlx5_pci_err_detected
mlx5_pci_slot_reset
mlx5_pci_resume
mlx5_core_disable_hca
disable_hca
mlx5_uninit_one
mlx5_pci_close
mlx5_try_fast_unload
mlx5_mdev_uninit
mlx5_function_teardown
mlx5_unload
mlx5_cleanup_once
mlx5_remove_core_dir
mlx5_unload_one
mlx5_pci_disable_device
mlx5_core_get_caps
mlx5_core_get_caps_mode
mlx5_core_other_function_set_caps
set_caps
mlx5_load_one
mlx5_load_one_devl_locked
handle_hca_cap
mlx5_is_roce_on
mlx5_core_disable_sf_hca
mlx5_pci_enable_device
set_hca_cap
mlx5_core_enable_sf_hca
enable_hca
mlx5_unload_one_devl_locked
__init_backport
mlx5_init_one
mlx5_function_setup
mlx5_load
mlx5_init_once
mlx5_core_enable_hca
mlx5_recover_device
mlx5_disable_device
mlx5_mdev_init
wait_fw_init
mlx5_core_set_issi

全部围绕这PCIe驱动的fops展开，最主要的是probe流程，最终走到mlx5_load流程，mlx5_load涉及到很多其他功能初始化，具体参考兄弟篇

Linux: network: mlx5_core crash；dos
mzhan017的博客
07-30 567
是tap的驱动向下传递的包的length太小，而mlx5_core 默认的最小是一定的，导致访问越界出现问题。一个问题mlx5应不应该做一些校验，避免此类事情的发生。intel的网卡是有这种问题包的预校验。
k8s mellanox网卡使用dpdk驱动问题总结
fengcai_ke的博客
07-12 4361
k8s mellnox网卡mlx4/5使用dpdk问题总结
DPDK — 安装部署
kobe24fgy的博客
01-04 8836
1、基础环境 1.1、硬件配置 1.2、操作系统要求 2、测试环境编译测试过程 2.1、升级GCC版本至GCC-7.3.0 步骤1 升级GCC依赖包设置 ########## 编译安装gmp ########### cd /home tar -xvf /home/gmp-6.1.2.tar.bz2 cd /home/gmp-6.1.2 ./configure --prefix=/usr/local/gmp-6.1.2 make make install ########## 编译安装mpf
从崩溃到自愈：Linux内核PCIe错误恢复机制深度解析
最新发布
gitblog_00154的博客
09-09 511
你是否遇到过服务器突然宕机、存储阵列无响应或网络连接中断的情况？这些看似随机的故障背后，很可能隐藏着PCIe（Peripheral Component Interconnect Express，高速外围组件互连）总线上的错误。作为现代计算机系统中连接CPU与外围设备的关键通道，PCIe的稳定性直接关系到整个系统的可靠性。幸运的是，Linux内核内置了一套强大的PCIe错误恢复机制，能够在大多数情况...
【硬件相关】Mellanox网络配置及参数优化
Luxf0的博客
03-04 7244
本文主要介绍Mellanox网络配置、部署管理及相关调优手段，用于后续部署实践参考使用
DPDK mlx5 驱动使用报错
choumin的专栏
08-01 1万+
有报错的话，按照提示进行修改和配置，比如修改配置文件、修改安装脚本、增加命令行参数、卸载某些有冲突的软件包等等。这三种方式我都花了不少的时间尝试过，结论是直接推荐第二种，因为其他两种方式安装成功后，还是有问题，可能是组件之间的版本不匹配。调试也只能定位到外部组件的问题，但为什么产生那个问题却不知道，还是得踏踏实实的把环境配好。毫无疑问，在安装上述组件的过程中或多或少会遇到一些问题，不然也不值得写这篇博客了。架构对应的版本，如果没有，则下载一个最为相近的版本（这个问题被我遇到了）。中，该网卡对应的驱动是。..
MLX5 Linux 驱动代码分析
zly8865372的博客
05-12 2783
Mellanox ConnectX 系列网卡的 Linux 驱动 (mlx5) 是一个高性能 RDMA 和 Ethernet 驱动，支持 InfiniBand 和 Ethernet 功能。
Mellanox OFED驱动中以太ethernet驱动主要初始化流程函数图？（mlx5e_init、register_netdev、mlx5e_driver、mlx5e_nic_profile）
技术札记
03-02 963
本文是另外一篇PCIe驱动的兄弟篇（）的补充，对比查看Mellanox网卡在内核协议栈注册使用TCP等非RDMA流量的注册流程以及提供给ethtool等配置后的一些处理函数流程。
【微知】Mellanox OFED驱动中使用的8种日志打印函数以及涉及的6种内核日志打印函数盘点？（mlx5_core_info）
技术札记
03-09 1184
printk是内核中最基本的打印函数，用于将消息输出到内核日志中。本文总结了Mellanox OFED驱动中使用的8种日志打印函数以及涉及的6种内核日志打印函数。以一个为例：是直接封装的dev_xxx系列的debug日志，添加了dev设备。封装的dev系列的比如dev_info，加了个E-Switch: 的前缀。这里也说明了，不同模块要定义自己的打印函数的根本动机在于定义自定义的字段。是直接封装的dev_xxx系列的debug日志，添加了dev设备。是封装的mlx5_core_info系列。
【微知】Mellanox OFED驱动中eq的event与中断关系？通过什么机制调用不同event处理？注册的2种形式？（mlx5_eq_notifier_register、MLX5_NB_INIT）
技术札记
03-09 1176
注册的一些事件和处理函数以及对应的notifier block下面这些事件和处理函数通过MLX5_NB_INIT定义一个notifier block，并且用mlx5_eq_notifier_register将这个nb注册到eq table中，会被挂在eq table的notifier header中，每个nh可能挂载多个nb（notifier block）event typefuncCMDCQ_ERRORFPGA_ERROR&esw->nbNOTIFY_ANYPPS_EVENT¬ifier->nb。
【微知】Mellanox驱动报错pdevice‘s health compromised - reached miss count机制分析（timer+check+recover+trigger）
技术札记
04-13 1411
触发机制是：health模块每隔2秒检查一次FW的状态，如果有异常通过print_health_info打印信息。打印的信息内容是硬件寄存器中的信息。本文以一个报错为例子，剖析了网卡的poll health机制，实际是一个2s的timer，到达timer时间检查硬件状态，如果有异常会再触发一个work处理。可以看到是在probe阶段调用到mlx5_load_one流程中的回调function设置专用流程中挂载这个功能，mlx5_start_health_poll启动一个health poll的程序。
dpdk 程序适配麦洛斯 mlx5 网卡
龙瑜的博客
01-08 7282
使用 dpdk-16.04 版本的数通引擎需要适配 Mellanox 网卡，需要支持 dpdk secondary 进程正常收发包。
RDMA知识点概要
探索未知，成就非凡
06-21 1396
分配的条目将被初始化并与相应的资源关联起来。这些工具包括ibv_*命令行工具（如ibv_devices、ibv_devinfo等），用于列举和查看RDMA设备信息，以及perfquery、rdma_bw等工具，用于性能测试和诊断。设备功能支持：mlx5_core实现了适配器的各种功能支持，包括网络传输协议（如InfiniBand和Ethernet）、内存管理、中断处理、事件通知、QoS（Quality of Service）、RoCE（RDMA over Converged Ethernet）等。
PCIe常见问题定位 与错误类型
热门推荐
wlf_go的博客
07-17 1万+
AER 即 Advanced Error Reporting高级错误报告，是PCIe高级特性，用于报告PCIe 错误信息，是PCIe RAS特性最重要的部分，本文从PCIe AER协议、固件、linux内核实现讲述PCIe AER知识。
网卡：mlx5_load_one failed with error code -16
mzhan017的博客
05-13 1994
log [ 13.103956] mlx5_core 0000:00:06.0: Firmware over 10000 MS in pre-initializing state, aborting [ 13.114815] mlx5_core 0000:00:06.0: mlx5_load_one failed with error code -16 [ 13.119919] mlx5_core: probe of 0000:00:06.0 failed with error -16 #de
Mellanox网卡mlnx5_core驱动安装
YCnote的博客
06-29 6393
Mellanox网卡mlnx5_core驱动安装 适用Mellanox系列网卡，MLNX_OFED_LINUX驱动包
DPDK-A1:Centos配置MLX5驱动
lingshengxiyou的博客
11-19 1655
需要注意的是安装了ofed驱动和支持mlx5_pmd的网卡不需要bind，直接就可以使用，我们还是使用上次的框架，稍微改改收发包程序，来测一下pps。和ubuntu一类的系统不同，CentOS上需要添加/usr/local路径, 主要是。在安装的时候请您勾选一下组件, 虚拟化的东西是后面在虚拟机里面跑DPDK需要用到的.主要是用于后面安装mlx5 ofed和编译DPDK所需的工具，注意下面的一个都不能少。更多DPDK相关学习资料有需要的可以自行报名学习,免费订阅,永久学习,或点击这里加。
Mellanox Offed驱动卸载重装和GPU显卡驱动重装
weixin_46152838的博客
07-12 1703
执行安装，且支持当前内核。
如何重装Mellanox网卡驱动OFED
Markchen7788的博客
07-07 2032
有些时候，服务器重启或者内核发生变化后，OFED驱动会突然失效导致一些问题出现，这个时候就需要重装驱动。
EAL: Probe PCI driver: mlx5_pci (15b3:1019) device: 0000:98:00.0 (socket 1)
09-05
在解决 EAL probe PCI driver mlx5_pci (15b3:1019) device 0000:98:00.0 (socket 1) 问题时，可参考以下方法： ### 检查内核驱动加载情况 确保 Mellanox 相关的内核驱动已正确加载。可以使用 `lsmod` 命令查看系统中已加载的模块，确认 `mlx5_core` 和 `mlx5_ib` 等驱动是否存在： ```bash lsmod | grep mlx5 ``` 若驱动未加载，可使用 `modprobe` 命令加载： ```bash sudo modprobe mlx5_core sudo modprobe mlx5_ib ``` ### 检查设备绑定 使用 `dpdk-devbind.py` 工具检查设备的绑定情况，确保设备已正确绑定到 DPDK 驱动： ```bash sudo dpdk-devbind.py --status ``` 若设备未绑定到 DPDK 驱动，可使用以下命令进行绑定： ```bash sudo dpdk-devbind.py --bind=igb_uio 0000:98:00.0 ``` ### 检查内存分配 确保系统有足够的内存可供 DPDK 使用。可以通过调整大页内存的分配来解决内存不足的问题。以下是分配大页内存的示例命令： ```bash sudo mkdir -p /mnt/huge sudo mount -t hugetlbfs nodev /mnt/huge echo 1024 | sudo tee /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages ``` ### 检查 DPDK 配置 确保 DPDK 的配置文件中指定了正确的设备和参数。例如，在配置文件中指定正确的 `port_list` 和 `lcore_mask`： ```plaintext lcore_mask=1 channel=2 port_list=0 ``` ### 检查固件和驱动版本 确保 Mellanox 网卡的固件和驱动是最新版本。过时的固件和驱动可能会导致设备探测失败。可以从 Mellanox 官方网站下载最新的固件和驱动，并按照说明进行安装和更新。 ### 检查硬件连接 确保 Mellanox 网卡硬件连接正常，没有松动或损坏的情况。可以尝试重新插拔网卡，或者更换插槽进行测试。 ### 检查系统日志 查看系统日志文件（如 `/var/log/syslog` 或 `/var/log/messages`），查找与设备探测相关的错误信息，以便进一步排查问题。 ```python # 示例代码，用于读取系统日志文件 import re log_file = '/var/log/syslog' with open(log_file, 'r') as f: log_content = f.read() # 使用正则表达式查找与设备探测相关的错误信息 error_pattern = re.compile(r'.*EAL.*device 0000:98:00.0.*error.*') errors = error_pattern.findall(log_content) for error in errors: print(error) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值