PFC功能原理

       RoCE的流量需要保证运行在无损队列中，无损队列使用了PFC技术，能针对某一队列发送Pause帧，迫使上游停流。设备在进行报文转发时，根据报文的优先级进入对应映射关系的队列中进行调度转发。当某一优先级报文发送速率超过接收速率，导致接收方可用数据缓冲空间不足时，设备通过PFC PAUSE帧反馈给上一跳设备，上一跳设备收到PAUSE帧报文后停止发送本优先级报文，直到再收到PFC XON帧或经过一定的老化时间后才能恢复流量发送。本文讲解具体的PFC配置限制和设置指导。  

PFC（Priority-based Flow Control，基于优先级的流量控制）功能是一种精细的流量控制机制，可 以满足以太网流量传输的无丢包要求，通过以太网提供无损服务。 PFC 功能基于 802.1p 优先级对报文进行流量控制。如下图 所示，PFC 允许在一条以太网链路上 创建 8 个虚拟通道，并为每条虚拟通道指定一个 802.1p 优先等级。在不影响其他通道流量转发的 情况下，任意一条虚拟通道都可以单独暂停和重启。通过此机制可以实现同一接口上多种类型流量 共存、多种流量共享链路。

 

当本端发生拥塞时，设备会根据本端收到报文的 802.1p 优先级进行判别，从而确定对报文的处理

方式：

•

如果收到报文的 802.1p 优先级开启了 PFC 功能，则接收该报文，并向对端发送 PFC PAUSE

帧，通知对端设备暂时停止发送该类报文。对端设备在接收到 PFC PAUSE 帧后，将暂时停

止向本端发送该类报文。当拥塞仍然存在时，此过程将重复进行，直至拥塞解除。

•

如果收到报文的 802.1p 优先级未开启 PFC 功能，则直接将报文丢弃。

      交换芯片都有固定的Pipeline（转发流水线）， Buffer管理处于入芯片流程和出芯片流程的中间位置。报文处于在这个位置上时，已经知道了该报文的入口和出口信息，因此逻辑上就可以分成入方向和出方向分别对缓存进行管理。

       PFC水线是基于入方向缓存管理进行触发的。芯片在入口方向提供了8个队列，我们可以将不同优先级的业务报文映射到不同的队列上，从而实现对不同优先级的报文提供不同的Buffer分配方案。

缓存类型

具体到每个队列，其Buffer分配根据使用场景设计为3部分：保证缓存，共享缓存，Headroom。

• 保证缓存：每个队列的专用缓存，确保每个队列均有一定缓存以保证基本转发；
• 共享缓存：流量突发时可以申请使用的缓存，所有队列共享；
• Headroom：在触发PFC水线后，到服务器响应降速前，还可以继续使用的缓存。

PFC门限设置类型

通过配置PFC缓存门限可以有效解决因缓冲空间不足和入流量队列数量过大，导致发送数据缓冲区尾丢弃等问题。

为了灵活控制 PFC 功能，设备提供对 PFC 门限进行配置，合理利用接口存储空间。

PFC目前提供以下门限设置类型：

• Headroom缓存门限（如上图中的headroom）：Headroom存储空间中某802.1p优先级报文的最大使用cell资源。当达到使用的cell资源后，该接口会丢弃收到的报文。
• 反压帧触发门限（如上图中的XOFF）：Shared存储空间中某802.1p优先级报文在该存储空间使用cell资源上限。达到上限后，会触发PFC功能发送PAUSE帧。反压帧触发门限又分为动态反压帧触发门限和静态反压帧触发门限：
  • 动态反压帧触发门限：设置某802.1p优先级报文触发PFC PAUSE帧的可用cell资源的百分比。
  • 静态反压帧触发门限：设置某802.1p优先级报文触发PFC PAUSE帧的可用cell资源门限为一个固定值。
• 反压帧停止门限与触发门限间的偏移量（如上图中的ingress-threshold-offset）：当某802.1p优先级报文使用的cell资源减小了一个固定值时，停止发送PFC PAUSE帧，使对端设备恢复流量发送——从Xoff水线回落多少就可以发送Xon的偏移量[需要保证报文到达之前不欠吞吐——buffer不会过早为0]。
• PFC预留门限（如上图中的reserved-buffer）：Guaranteed存储空间中为某802.1p优先级报文预留的cell资源。Guaranteed缓存是一个静态水线（固定的、独享的）。
• Headroom最大可用的cell资源：配置Headroom存储空间某缓存池cell资源的大小。

Headroom缓存门限设置方法

如果想要进行更精确地控制，可以根据如下方法计算Headroom缓存门限值：计算从接收端发送PFC Pause帧到发送端收到PFC Pause帧并真正停止流量发送期间，在途流量大小。公式为：在途流量（bytes）=MTUR+MTUs+Response+2*link_delay。其中，

• MTUR：队列触发反压帧门限到发送Pause帧之间，如果芯片有大包要发，这个大包的长度。由于这个大包可能来自其它任何队列，所以这个大包的长度应该等于设备允许的最大帧长度9216字节。
• MTUs：如果上游设备在准备停止流量发送前，刚好开始发送上一个包，这个包的长度。由于只有PFC指定优先级的报文影响接收端的门限，所以MTUs的长度应该为PFC指定优先级报文的长度。
• Response：上游设备收到PFC Pause帧到停止发送的反应时间产生的数据长度，该值固定为3840字节。
• 2*link_delay：线路来、回方向上缓冲的报文长度。

反压帧触发门限设置方法

对于共享缓存的设置，需要采用更为灵活的动态水线。动态水线能根据当前空闲的Buffer资源，以及当前队列已使用的Buffer资源数量来决定能否继续申请到资源。由于系统中空闲共享Buffer资源与已使用的Buffer资源都是时刻变化的，因此阈值也处于不断变动中。相对于静态水线，动态水线能更灵活、有效的利用Buffer及避免造成不必要的浪费。

PFC动态反压帧触发门限动态如下：

百分比（动态反压帧触发门限值）	Alpha值（芯片寄存器配置值，表示队列中cell个数和可用cell个数比值）	占可用总缓存的实际比例（alpha/(1+alpha)*100）%
0	1/128	0.77
1	1/64	1.53
2~3	1/32	3.03
4~5	1/16	5.88
6~11	1/8	11.11
12~20	1/4	20.00
21~33	1/2	33.33
34~50	1	50.00
51~66	2	66.66
67~80	4	80.00
81~100	8	88.88

动态水线alpha值=队列可申请缓存量/剩余共享缓存量。队列的α值越大，其在共享缓存中可使用的百分数占比也就越高。队列的α值设置越小，其最大可申请的共享缓存占比就越小。当端口拥塞时就会越早触发PFC流控，PFC流控生效后队列降速，可以很好地确保网络不丢包。

但从性能的角度看，过早触发PFC流控，会导致RDMA网络吞吐下降。因此我们在MMU水线设置时需要选取一个平衡值。