SN-FlexTest：灵活的TSN测量测试平台

论文标题：TSN-FlexTest: Flexible TSN Measurement Testbed
作者信息：
- Marian Ulbricht
- Stefan Senk
- Hosein K. Nazari
- How-Hang Liu
- Martin Reisslein, IEEE Fellow
- Giang T. Nguyen, IEEE Member
- Frank H. P. Fitzek, IEEE Senior Member

论文出处：IEEE TRANSACTIONS ON NETWORK AND SERVICE MANAGEMENT, VOL. 21, NO. 2, APRIL 2024

摘要：
本文介绍了TSN-FlexTest测试平台，这是一个为低延迟通信网络服务提供一致性的Time-Sensitive Networking（TSN）标准集合的灵活测试环境。该平台使用通用商品硬件和开源软件组件，以实现灵活的TSN测量。通过广泛的测量来验证TSN-FlexTest测试平台，并检验TSN特性。测量结果提供了TSN配置的影响，例如增加精确时间协议（Precision Time Protocol, PTP）的同步消息数量，表明可以实现30纳秒的测量精度。TSN测量包括对Time-Aware Shaper（TAS）的广泛评估，该整形器针对触觉互联网（Tactile Internet, TI）数据流集合。测量阐明了不同的调度和整形方法的影响，并揭示了需要普遍的网络控制来同步发送节点与网络交换机。本文首次展示了在商品硬件测试平台上，分布式TAS与同步发送器的测量结果，证明了与专用线路相比，对于高优先级TI流，尽管有200%的过饱和交叉流量负载，仍能提供相同的服务质量。该测试平台作为开源项目提供，以促进未来的TSN研究。

第一节 引言：
介绍了在各种应用和领域中，避免不可预测的通信行为的必要性，例如不一致的（高度可变的）数据包延迟。TSN通过结合不同的机制来实现以太网网络上一致的低延迟数据包传输。TSN由IEEE TSN任务组（TG）管理，定义了基础标准。TSN主要涵盖四个类别：时间同步、通过流控制减少延迟和数据包延迟变化、超可靠性和资源管理。这些标准可以灵活组合以适应特定用例。尽管这些标准可以单独使用，但通过合理组合选定的特性可以获得最大的好处。

第二节 相关工作：
本节回顾了有关TSN网络性能评估的相关工作，包括形式化数学分析、仿真和仿真、硬件测试平台的测量。

第三节 TSN-FlexTest测试平台设计：
本节提供了测试平台的硬件和软件选择的见解，并描述了程序流程和使用的测试数据。TSN-FlexTest测试平台支持自动测试专用设备（DuT）的数据传输能力。多个节点被控制以回放测量流量并通过DuT发送。每个传输节点的NIC在TX数据包的有效载荷部分插入精确的TX时间戳。此外，节点可以配置为回放交叉流量以模拟繁忙的链路。一个节点（图1中的node0）在数据包通过DuT后捕获测量数据包。通过比较TX和RX时间戳，可以评估每个数据包通过DuT的传输时间。

在这一节中，作者详细介绍了TSN-FlexTest测试平台的设计原则、架构、以及软硬件组件的选择。TSN-FlexTest旨在通过使用商用现成（COTS）硬件和开源软件组件，提供一个灵活、高精度、且成本效益高的测量测试平台，以全面研究TSN。

测试平台概述： TSN-FlexTest测试平台的目的在于检验特定设备（DuT）下不同网络流模式的行为。该平台原则上可以适应任意网络配置和复杂的网络拓扑结构。研究中以单个TSN交换机作为DuT，通过五个专用节点连接到TSN交换机，每个节点都包含COTS硬件，如x86 CPU和多个NIC。节点1、2、3通过DuT向一个汇聚节点（node0）传输优先级（TSN）数据包流，而节点4生成两个流的干扰性最佳努力（BE）交叉流量。所有五个生成的数据包流通过DuT的输出端口共享同一个瓶颈，可以在该瓶颈上应用不同的调度和整形策略。测试平台设计用于单向测量数据包从传输节点传输第一个比特到物理链路到接收节点（node0）的接收NIC接收第一个比特的时间。因此，测试平台能够测量数据包在DuT内部的停留（驻留）时间，该时间包括交换机数据包处理延迟、数据包排队延迟，以及数据包传输的直通部分的延迟。

硬件分析： 作者在设计测试平台前进行了广泛的市场分析，考虑了TSN知识产权核心（IP-Cores）、系统芯片（SoCs）、交换端点（SEPs）、交换机和NIC。一些供应商提供了组合的TSN套件。作者选择了灵活的COTS设备，如Intel NIC，以及稳定且可用的FibroLan Falcon-RX/G交换机。

软件分析：

1. 精确时间同步：测试平台需要一个稳定的时基，以实现网络数据包的精确测量。作者讨论了两种主要的测量方法：集中式和分布式。他们选择了分布式方法，并使用PTP协议通过以太网精确且稳定地同步两个时钟。
2. 数据包生成：作者比较了基于套接字和基于DPDK的数据包生成器的优缺点。他们使用了MoonGen生成高负载交叉流量，并使用tcpreplay回放测试流量。
3. 调度器 - GCL配置：Linux内核包含了时间感知整形器的实现。作者讨论了如何使用Linux网络协议栈中的qdisc环境来插入和管理排队和数据包调度，特别是Earliest Time First (ETF)调度器和ta-prio模块。

 测试平台的一般程序流程： TSN-FlexTest测试平台支持自动测试专用设备的数据处理能力。多个节点被控制以回放测量流量并通过DuT发送。每个传输节点的NIC在传输数据包的有效载荷部分插入精确的TX时间戳。一个节点（node0）在数据包通过DuT后捕获测量数据包。通过比较TX和RX时间戳，可以评估每个数据包通过DuT的传输时间。

作者还分享了在开发测量框架时学到的经验教训，包括对测试平台架构、设计和实现的详细描述，以及测量框架的工作流程。 

第四节 TSN-FlexTest测试平台验证：
本节评估了TSN-FlexTest测试平台的测量精度，包括评估精确时间协议（PTP）和发送循环数据的精度。

第五节 TSN评估与TSN-FlexTest测试平台：
本节使用TSN-FlexTest测试平台评估了时间敏感网络（TSN）。由于篇幅限制，重点关注了一些选定的测量功能，并建议感兴趣的读者参考[64]以获取完整细节和结果。

第六节 结论：
本文介绍了TSN-FlexTest，这是一个灵活、高精度的TSN测量测试平台，用于评估TSN功能。在全面审查了可用的硬件和软件之后，我们设计了基于商用现成（COTS）硬件和开源软件的TSN-FlexTest测试平台，以促进低成本的TSN测试平台测量。TSN-FlexTest测试平台的验证突出了以下特点：基础的PTP时钟同步提供了纳秒级精度，使我们能够进行高精度的TSN测量。灵活的循环流量生成器使研究人员能够重现各种流量特性，而无需获得昂贵的设备。我们使用TSN-FlexTest测试平台进行了广泛的评估研究，并测量了广泛使用的服务质量（QoS）配置的关键性能指标，包括网络中立传输、严格优先级排队（SPQ）和时间感知整形器（TAS）的使用。我们发现，TAS可以提供有界单向数据包延迟，尽管在某些情况下，例如对于突发性数据流（例如VBR视频流量），数据包延迟变化（PDV）可能显著。正确配置的门控制列表（GCL）对于实现有界数据包延迟至关重要。我们发现，GCL配置具有挑战性，并且高度依赖于流量模式（例如，突发性、数据包大小）。我们的TSN-FlexTest测试平台支持灵活的测量以评估GCL配置，因此有助于为特定的网络和流量场景找到适当的GCL配置。我们确定了发送节点行为是高PDV的根本原因：发送节点的数据包传输随机时间偏移可能会由于交换机上的门状态可能关闭而导致高数据包延迟。我们进行了将发送节点与TSN交换机状态同步的测量。通过仅使用COTS硬件和开源软件在TSN-FlexTest测试平台上，我们已经能够实现与专用链路相当的服务质量水平，同时容纳多个并行流，超过链路的200%过载。我们公开了TSN-FlexTest测试平台的源代码，包括用于同步发送器的软件TAS配置；此外，流量流[30]也是公开可用的。

未来工作：
TSN-FlexTest测试平台扩展了通过实际硬件测试平台测量来调查新方法和评估现有方法的机会。我们继续总结一些潜在的未来研究方向。第一步可以是调查其他TSN标准的有效性，例如帧抢占（FP）、帧复制和消除以提高可靠性（FRER）以及流预留协议（SRP）。未来的工作也可以考虑更广泛的流量配置文件集合。此外，TSN-FlexTest测试平台的拓扑可以扩展到多个交换机和更多的发送和接收节点。评估市场上的商业行业级硬件组件可以揭示有关它们的行为和性能水平的额外信息，可能会为学术研究人员提供见解。例如，使用时间协调的CPU在测试平台中可能会提高TSN网络的精度，这可以进一步调查。此外，配置对TSN测试平台性能有显著影响。因此，一个重要的未来工作方向是设计一个框架，用于确定静态拓扑的适当预配置，或根据流量配置文件和网络资源的变化随时间重新配置参数。最后，将TSN与无线技术集成可以显著提高灵活性和移动性，这可能对广泛的新用例有利[4]，[82]。将5G系统（5GS）与TSN网络集成是最近的3GPP标准[83]中考虑的，其中5GS作为虚拟TSN桥。TSN-FlexTest测试平台可以被用来开发符合最近3GPP标准的5GS，以实现5G-TSN网络的基于测量的性能评估。