【微知】如何打开Mellanox网卡某个网口的PFC？（mlnx_qos -i enp1s0f0 --pfc 0,1,0,0,0,0,0,0）

原创 于 2025-09-25 01:27:32 发布 · 167 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#网络 #服务器

关闭

mlnx_qos -i eth0 --pfc 0,0,0,0,0,0,0,0 #全部队列关闭，0就是关闭
mlnx_qos -i enp1s0f0 --pfc 0,1,0,0,0,0,0,0 #打开队列1的PFC功能

如果要关闭需要关闭多个网卡

查看

mlnx_qos -i enp1s0f0

实操

在这里插入图片描述

其他

PFC打开后，如果遇到机内PCIe等压力，达到阈值后，网卡就会对外发送PFC，踩刹车，暂停交换机发送数据包到网卡。
一般PFC机制是一种保险机制，在PFC机制生效前，还有拥塞算法机制等进行处理。

【RDMA】mellonx流控配置工具mlnx_qos|PFC
我的笔记本
06-08 8533
原文：https://mymellanox.force.com/mellanoxcommunity/s/article/mlnx-qos mlnx_qos（Linux 工具 ，MLNX_OFED 的一部分） 这篇文章适用于 MLNX_OFED v4.2： 参考 参数 -i, --interface -f, --pfc -p --prio_tc -s --tsa , -t -t-cbw -r --ratelimit -d --dcbx - 相信 --dscp2prio - 缓冲区大小 --prio2..
【RDMA】设置网卡默认PFC和ECN-在DSCP基于QoS模式下为Linux驱动程序配置ROCE
我的笔记本
07-09 4599
本文提供了在安装了MLNX_OFED和Mellanox设备的情况下，针对丢包网络中运行RoCE的DSCP-based QoS模式的配置示例。在使用RDMA-CM时，可以为由RDMA-CM创建的QP设置QoS参数。[可选] 为所有RoCE流量设置ToS为106（DSCP 26）（注：此命令是非持久的）[可选] 将RDMA-CM的ToS设置为106（DSCP 26）（注：此命令是非持久的）[可选] 启用TCP流量的ECN功能（注：此命令是非持久的） 是指mlx设备（例如mlx5_0）
NVIDIA&Mellanox 网卡开启&配置QOS
qq_27815483的博客
07-26 1455
NVIDIA&Mellanox 网卡开启&配置QOS
网卡基于dscp的PFC测试方法
weixin_46098570的博客
09-27 1597
优先级值越大，级别越高，速率相应越快，根据实测结果，各优先级按速率分级，优先级相差越大，两条并发流量的差异越大。当出现如图所示表示pfc 0,1,2,3,4,5,6,7 共8种pfc全部使能。使能pfc 0,1,2,3,4,5,6,7共计8个优先级。优先级发送报文，通过二打一的方式实现网络拥塞，使用。基于拥塞网络下带优先级的报文按照配置的。开启网卡dscp功能为网卡名。发送主机1使用-S命令指定dscp值。发送主机2使用-S命令指定dscp值。基于mlnx网卡的pfc配置参考。
DCB学习之一（PFC）
浩海拾贝
09-10 2万+
随着IT企业的发展，很多企业、政府机构、组织机构都部署有自己的数据中心，用来满足自己的存储、计算等IT需求。在数据中心网络当中，典型的存在着以下两种流量： 存储数据流：要求无丢包；普通数据流：允许一定的丢包和时延。 很显然两种数据流对服务的要求是不同的，因而传统的数据中心也往往会部署两个网络来满足对数据中心的这些需求。这种网络在一定意义上来说是冗余的，会造成资源的浪费，当数据中心规模扩大时
【微知】如何通过mlnx_perf命令观测Mellanox网卡端口数据流量？（mlnx_perf -i eth0、mlnx_perf -i eth1 -c 2、mlnx_perf -i x -t 3）
技术札记
03-05 778
mlnx_perf是用来对Mellanox网卡进行性能分析的有效工具，常用来观测端口的tx rx数据流量。使用mlnx_perf观测端口流量经常忘记参数。注意命令观测启动后需要有流量mlnx_perf才会打印数据。可以看到端口0的rx比较高，端口1的tx比较高。端口0和端口1进行打流。
【PFC】PFC测试指令
小鱼菜鸟的博客
06-28 756
查看映射关系 mlnx_qos -i eth2 (mellonx) 设置用L3做流控 mlnx_qos -i eth2 --trust=dscp (mellonx) 修改dscp到priority 映射 dscp 30 映射到修改dscp到priority 6 # mlnx_qos -i eth2 --dscp2prio set,30,6 ...
【Mellanox counter系列之discard】那些discard的counter们以及2种查看硬件缓冲区？rx_discards_phy、rx_prio0_discard、mlnx_qos
技术札记
08-11 1528
判断方法也是网卡上硬件的逻辑进行判断的，硬件上应该是提供寄存器作为ASIC网卡芯片的配置（猜测）。系统启动需要预留这部分的eth的port对应的32个channel以及每个channel的1024个包的内存大小，具体每个包预留多大是根据MTU来确定的然后按照4K对其内核页，比如mtu是1500，带上头部，会预留一个物理页4KB。本文介绍Mellanox网卡上关于discard数据包的counter，顺便介绍了网卡上的收包流程和依赖的几个buffer和8个队列以及基于dscp的业务数据与队列的关系。
【微知】如何查看Mellanox网卡上的光模块的信息？（ethtool -m enp1s0f0 看型号、厂商、生产日期等）
技术札记
03-04 2507
服务器上插入的光模块经常被忽略，往往这里是定位问题最根本的地方。如何通过命令查看？
【微知】Mellanox网卡网线插入后驱动的几个日志？（Cable plugged；IPv6 ... link becomes ready）
技术札记
04-12 625
本文是一个简单的信息记录。记录的是当服务器网卡的光模块插入后内核的日志打印。通过这种日志打印，可以在定位分析问题的时候，知道进行过一次模块插拔。
【Mellanox命令系列之mlnx_qos设置DSCP】如何绑定流量类型DSCP与网卡硬件队列，为什么设置，如何生效？（--trust=dscp； --dscp2prio set,63,0）
技术札记
08-11 2936
后2个bit是ECN（显式拥塞通知Explicit Congestion Notification，是用来进行拥塞管理的，数据包从端-交换机-端流程中，流经交换机如果出现交换机拥塞（准确讲是超过交换机配置的认为拥塞的水位线）后，会将该IP报文的ECN字段标记为11，表示数据传输中出现了拥塞，当端侧收到被标记ECN的报文后，接收端会发送一个CNP报文给发送端，以控制发送端进行拥塞控制，进行降速。是针对不同的业务流量，比如会议中的语音和视频，语音更需要保障实时性，那么语音和视频就需要使用不同的优先级传输。
Mellanox网卡qos设置
aashuii的博客
04-22 537
不设置NCCL TC，RDMA流量使用网卡设置的dscp（ /sys/class/infiniband/mlx5_0/tc/1/traffic_class ），如果没有设置则为0；设置了NCCL TC，RDMA流量优先使用网卡设置的dscp，如果没有设置则使用NCCL_IB_TC。（可以看到pri和dscp的关系）
弄巧成拙的 PFC(Priority-based Flow Control)
TCP/IP
11-09 2万+
InfiniBand 满足 RDMA 的需求，但复杂且昂贵，需要专用 IB 链路层支撑，而 RoCE 旨在普遍的以太网上部署 RDMA，但以太网是有损网络，会拥塞而丢包，丢包重传会增加网卡实现的复杂性同时增加时延，抵消 RDMA 的优势。不要指望网络无损，因为不丢包不可能，丢包原因又不止拥塞一种，PFC 显然无法覆盖所有场景，问题的核心应集中在丢包恢复，而拥塞控制完全从丢包解耦，拥塞不与丢包关联，自然就是另一个独立问题。即便不重构整个网络，只要从本质出发，问题的解法也会比 PFC 更高尚。
高性能网络之PFC（Priority Flow Control，优先级流控制）
ohio0102
04-09 3694
PFC
【RDMA】无损网络和PFC（基于优先级的流量控制）|ECN
热门推荐
我的笔记本
03-31 3万+
目录 前言 一、为什么会产生拥塞 二、PFC如何实现流控 原文：《我们为什么需要RDMA？为什么需要无损网络？》https://www.sohu.com/a/258041228_100289134 前言 RDMA技术：降低数据中心内部网络延迟，提高处理效率。 当前RDMA在以太网上的传输协议是RoCEv2，RoCEv2是基于无连接协议的UDP协议，相比面向连接的TCP协议，UDP协议更加快速、占用CPU资源更少，但其不像TCP协议那样有滑动窗口、确认应答等机制来实现可靠传输，一旦出现丢包，依靠
【RDMA】RoCE网络QoS|应用层设置PFC等级|Tos|Priority|TC
我的笔记本
04-12 8095
1.什么是QoS QoS是一种机制，它给一个网络流赋予一个优先级，并且管理它的最低需求(guarantees)，极限能力(limitations)和它相比其他网络流的优先级服务。这是通过一个2/3阶段的过程将用户层的优先级映射到一个硬件层流量类(hardware Traffic Class)上实现的。流量类被赋予QoS属性(缓存分配，流控制，排队，调度，随机早期检测，显式拥塞通知等等)，并且不同的流按照这些对应的属性被服务。 2.为什么RoCE网络需要QoS RDMA最初设计用在运行高性能计算应用..
在EulerOS中如何配置多个虚拟机共享同一个SR-IOV物理网卡？
最新发布
08-28
### 配置多个虚拟机共享同一个SR-IOV物理网卡 在EulerOS中配置多个虚拟机共享同一个SR-IOV物理网卡，需通过SR-IOV技术将物理网卡划分为多个虚拟功能（VF），每个VF可分配给不同的虚拟机使用。该方法允许每个虚拟机直接与物理网卡通信，绕过传统内核网络栈，从而获得接近物理网卡的性能 [^2]。 #### 确认硬件支持和驱动加载 确保使用的Mellanox CX4网卡支持SR-IOV功能，并已安装正确的驱动。Mellanox CX4系列通常使用`mlx4_core`或`mlx5_core`驱动。检查PCIe设备信息并确认驱动是否加载： ```bash lspci | grep -i mellanox lsmod | grep mlx ``` 如未加载，手动加载驱动模块： ```bash modprobe mlx4_core ``` 或 ```bash modprobe mlx5_core ``` #### 启用BIOS/UEFI中的相关支持 进入系统BIOS设置，确保启用了以下选项： - VT-d（Intel）或AMD-Vi（AMD） - SR-IOV支持 - PCIe预分配内存（Prefer MMIO） #### 启用SR-IOV功能并创建多个VF 通过sysfs接口启用SR-IOV功能，并指定创建的VF数量。假设物理网卡的PCI地址为`0000:01:00.0`，执行以下命令： ```bash echo 8 > /sys/class/net/enp1s0f0/device/sriov_numvfs ``` 该命令将创建8个虚拟功能（VFs）。可以通过以下命令查看是否成功创建： ```bash ip link show enp1s0f0 ``` 此时应能看到类似`enp1s0f0v0`、`enp1s0f0v1`等VF设备。 #### 分配VF给多个虚拟机 将不同的VF分配给多个虚拟机。例如，将`0000:01:00.1`分配给VM1，将`0000:01:00.2`分配给VM2。使用`virsh`编辑虚拟机的XML配置文件： ```bash virsh edit <虚拟机名称> ``` 在XML配置中添加如下PCI设备配置段： ```xml <hostdev mode='subsystem' type='pci' managed='yes'> <source> <address domain='0x0000' bus='0x01' slot='0x00' function='0x1'/> </source> </hostdev> ``` 重复上述步骤，为每个虚拟机分配不同的VF。 #### 虚拟机内部配置 在每个虚拟机内部安装Mellanox OFED驱动，并确保VF设备被正确识别。使用以下命令查看： ```bash lspci | grep -i mellanox ``` 安装Mellanox OFED驱动（适用于CX4网卡）： ```bash # 下载Mellanox OFED驱动包 wget https://www.mellanox.com/downloads/ofed/MLNX_OFED-5.7-1.0.4.0/MLNX_OFED_LINUX-5.7-1.0.4.0-rhel8.6-x86_64.tgz # 解压并安装 tar -xvzf MLNX_OFED_LINUX-5.7-1.0.4.0-rhel8.6-x86_64.tgz cd MLNX_OFED_LINUX-5.7-1.0.4.0-rhel8.6-x86_64 ./mlnxofedinstall --add-kernel-support ``` 安装完成后重启虚拟机。 #### 验证网络性能 使用`iperf3`或`netperf`等工具测试多个虚拟机通过SR-IOV VF设备的网络性能，验证是否接近物理网卡性能 [^1]。 ```bash # 安装iperf3 yum install iperf3 # 在服务端运行 iperf3 -s # 在客户端运行测试 iperf3 -c <server_ip> ``` 若测试结果显示延迟低、带宽高，则说明SR-IOV配置成功。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值