如何在NVIDIA CX6 网卡和华为CE交换机上为RDMA协议使能DCQCN和PFC

CX6网卡的配置

#trust layer 3,即按照ip tos字段值来进行优先级映射
sudo mlnx_qos -i ens3f0 --trust dscp
#使能PFC
sudo mlnx_qos -i ens3f0 --pfc 0,0,0,1,0,0,0,0 
#将ib设备mlx5_0的dscp优先级映射到26，对应了网卡优先级3
sudo cma_roce_tos -d mlx5_0 -t 106 #（dscp 26）

CE交换机配置(本文档使用的是CE6860，不同版本的CE交换机区别可能挺大，注意搜索文档)

步骤1：配置ECN模板
drop-profile dcqcn
#配置ECN水线，队列长度为最大队长的%1开始，按概率标记
color green low-limit 1 high-limit 30 discard-percentage 2 
#提交配置
commit

步骤2：给100ge 1/0/1端口配置ECN，和端侧一样，一定要配置trust dscp，数据包才能进入正确buffer和队列
interface 100ge 1/0/1
trust dscp 
qos queue 3 wred dcqcn
qos queue 3 ecn
#提交配置
commit

步骤3：给100ge 1/0/1端口配置PFC 
dcb pfc 
priority 3  
interface 100ge 1/0/1
dcb pfc enable mode manual
dcb pfc buffer 3 xoff 310 xon 50 hdrm 740
#提交配置
commit

组网验证

(1)建立如下物理拓扑