33、基于DRL的QoE感知SFC编排训练质量测试

基于DRL的QoE感知SFC编排训练质量测试

1. 引言

近年来，软件定义网络（SDN）和网络功能虚拟化（NFV）这两项颠覆性技术彻底改变了网络的设计、部署和管理方式。SDN实现了控制平面和数据平面的分离，使网络管理员能够集中管理和编程网络；NFV则允许将网络功能（NFs）实现为可部署在通用硬件上的虚拟网络功能（VNFs）。

服务功能链（SFC）是一种网络概念，它通过将流量引导通过按特定顺序组织的NF链来提供定制的网络服务，可用于实施安全策略、实现流量转向和提供服务质量（QoS）保证。SDN和NFV的结合为SFC编排带来了显著的好处，包括灵活性、简化管理、资源效率、可扩展性、优化和更快的服务创新。

使用深度强化学习（DRL）对SDN/NFV环境中的SFC编排进行建模是一种很有前途的方法，尤其适用于传统方法可能不足的复杂动态环境。然而，仍有许多挑战需要解决，例如设计合适的奖励函数以及确保可扩展性和鲁棒性。

DRL是一种机器学习（ML）类型，使智能体能够通过与物理底层网络（PSN）组成的环境进行交互来学习决策。环境根据智能体的行动以奖励或惩罚的形式提供反馈，DRL算法利用这些反馈更新智能体的策略，以最大化预期的未来奖励。本文旨在研究SDN/NFV环境中SFC编排问题的质量测试，该问题被定义为一个DRL问题，智能体负责编排VNF的放置和链接，以在满足QoS要求的同时最大化体验质量（QoE）。

在线DRL中的测试至关重要，主要体现在以下几个方面：
- 性能评估 ：环境是动态且不可预测的，测试有助于验证智能体能否学习和适应不断变化的条件并保持良好性能。
- 鲁棒性增强