21、智能电网中的强化学习与模型结构选择

智能电网中的强化学习与模型结构选择

在智能电网和系统识别领域，有两项重要的研究成果值得关注。一是关于智能功率路由器（Intelligent Power Router，IPR）利用概率布尔网络（Probabilistic Boolean Networks，PBNs）结合强化学习（Reinforcement Learning，RL）的研究；二是运用粒子群优化（Particle Swarm Optimization，PSO）算法进行模型结构选择的研究。

智能功率路由器与概率布尔网络强化学习

智能功率路由器是智能电网中的关键设备，对其可靠性的研究采用了PBNs建模方法。该方法构建的逻辑模型具有复杂行为，能自组织成Kauffman N - K网络，其吸引子循环可提供IPR长期行为的信息。

在强化学习中，IPR的累积奖励有其特点。初始运行阶段奖励较低，对应“早期夭折”阶段；达到稳定状态后，预期奖励率几乎呈线性增长。通过PRISM实验对不同故障分类进行评估，如一年运行中，Cat.3故障的最大累积奖励为73小时，Fault 1分类的最大累积奖励为6小时，Fault 2分类的最大累积奖励为118小时。这些实验结果可导出为文件，用于使用分析或机器学习工具分析IPR模型的行为。

在模型中，学习表现为适应，系统通过适应来应对干扰。复杂系统的自组织是向稳定状态的转变，这是学习的最基本形式。系统的进化可通过外部干预机制引导，避免不利状态。若对设备的故障模式给予奖励，评估结果将产生最大奖励，这与IPR的评估可靠性相关。通过PRISM实验验证能执行标准RL循环的PBN建模系统，是迈向通过机器学习实现自动系统控制的重要一步。

系统识别中模型结构选择的PSO方法