基于 Q-Learning 的弱耦合信息物理电力系统弹性评估

题目：

Q-Learning-Based Resilience Assessment of Weakly Coupled Cyber-Physical Power Systems

作者：

Shuliang Wang , Xiancheng Yang , Xiaodi Huang , Senior Member, IEEE, Jianhua Zhang , and Shengyang Luan

摘要：

信息物理电源系统 （CPPS） 从极端事件引起的级联故障中恢复并恢复故障前功能的能力是弹性研究的一个关键重点。与大多数研究人员研究的强耦合系统相反，本文研究了弱耦合 CPPS，探索了以结果为导向的恢复方法来增强系统弹性。根据不同耦合模式下弱连接 CPPS 的弹性和故障转移概率，比较了各种修复方法。利用 Q-learning 算法，获得优化的网络恢复序列，以最大限度地减少故障对网络功能的负面影响，同时减少功率损耗。通过为 IEEE 39、IEEE 118 和 IEEE 300 网络及其相应的无标度网络建立弱耦合 CPPS，通过仿真实验全面验证了所提方法的有效性和泛化性。通过单节点恢复和多节点恢复两种恢复机制验证了其合理性。通过将所提出的方法与启发式恢复方法和基于优化的恢复方法进行比较，我们发现它可以显著加速网络恢复，提高网络弹性，实现更好的弹性中心性。这些发现为 CPPS 恢复工作的决策提供了有价值的见解。

关键词级联故障模型、最优网络恢复、Q-learning 算法、弹性、弱耦合信息物理电力系统 （CPPS）。

摘要：
信息物理电源系统 （CPPS）从极端事件引起的级联故障中恢复并恢复故障前功能的能力是弹性研究的一个关键重点。与大多数研究人员研究的强耦合系统相反，本文研究了弱耦合 CPPS，探索了以结果为导向的恢复方法来增强系统弹性。根据不同耦合模式下弱连接 CPPS 的弹性和故障转移概率，比较了各种修复方法。利用 Q-learning 算法，获得优化的网络恢复序列，以最大限度地减少故障对网络功能的负面影响，同时减少功率损耗。通过为 IEEE 39、IEEE 118 和 IEEE 300 网络及其相应的无标度网络建立弱耦合 CPPS，通过仿真实验全面验证了所提方法的有效性和泛化性。通过单节点恢复和多节点恢复两种恢复机制验证了其合理性。通过将所提出的方法与启发式恢复方法和基于优化的恢复方法进行比较，我们发现它可以显著加速网络恢复，提高网络弹性，实现更好的弹性中心性。这些发现为 CPPS 恢复工作的决策提供了有价值的见解。

引言

在 CPPS 弹性分析中，通常有三个阶段：预防、中断和恢复 。恢复阶段包括相关人员在级联故障后修复损坏的网络组件，逐步恢复网络的功能。这个阶段在 CPPS 韧性周期中至关重要，凸显了恢复策略在增强韧性方面的重要性。以前的研究主要集中在具有强互连性的 CPPS，而忽略了弱的相互依赖性。假设一个网络元素中的故障将不可避免地触发相关网络中的相应故障。然而，这个假设在现实中并不总是成立 。例如，如果物理网络节点失去了网络节点的支持，它可能会继续正常运行，而不会立即出现故障。相反，网络节点通常具有备用电源，并且可以继续工作失去与物理网络节点的耦合。因此，由于弱相互依赖性，一个 CPPS 网络中的故障并不总是会破坏相关网络中的相应元件。弱相互依赖性意味着一个网络中节点的故障可以传播到以某种概率影响另一个网络中的节点。如果一个节点因攻击或故障而发生故障，则不同网络中的另一个节点可能会以一定的概率发生故障。网络之间故障传播的概率量化了这种弱耦合。网络恢复中使用了各种基于结构和功能的恢复方法。人工智能方法，尤其是强化学习，已经变得越来越突出。与通常需要先验了解网络拓扑和节点属性的传统策略不同，Q-learning 算法是一种强化学习技术，不依赖于这些信息。它基于值运行，并通过代理者与环境交互智能地实现目标结果。此外，Q-learning 算法通过对数据进行训练展示了令人满意的泛化。因此，本文的目标是采用一种以结果为导向的恢复方法，利用强化学习的 Qlearning 算法，并分析网络恢复过程，以努力制定最佳恢复策略。网络之间故障传播的概率量化了这种弱耦合。网络恢复中使用了各种基于结构和功能的恢复方法。人工智能方法，尤其是强化学习，已经变得越来越突出。与通常需要先验了解网络拓扑和节点属性的传统策略不同，Q-learning 算法是一种强化学习技术，不依赖于这些信息。它基于值运行，并通过代理者与环境交互智能地实现目标结果。此外，Q-learning 算法通过对数据进行训练展示了令人满意的泛化。因此，本文的目标是采用一种以结果为导向的恢复方法，利用强化学习的 Qlearning 算法，并分析网络恢复过程，以努力制定最佳恢复策略。综上所述，本文的主要贡献如下。
1） 我们介绍了一个弱相互依赖模型并讨论了其关键特征，例如 CPPS 中的耦合强度、相互依赖类型以及子系统之间的交互。
2） 我们提出了一种基于强化学习