17、智能电网与网络通信中的强化学习安全检测应用

智能电网与网络通信中的强化学习安全检测应用

1 智能电网在线网络攻击检测

1.1 在线攻击检测算法

在线攻击检测使用到了之前学习得到的 Q - table，以下是具体的算法流程：

Algorithm 23 Online Attack Detection
1: Input: Q - table learned in previous learning process.
2: Choose an initial o based on the pre - attack state and choose the initial a = continue.
3: t ← 0
4: while a ̸= stop do
5:     t ← t + 1
6:     Collect the measurements yt.
7:     Determine the new o as in the relevant steps of another algorithm.
8:     Choose the action a = arg minaQ(o, a).
9: end while
10: Declare an attack and terminate the procedure.

在这个过程中，防御者会根据观察结果采取行动，并从模拟环境中获得相应的成本反馈。基于这些经验，防御者会更新并学习 Q - table。在在线检测阶段，会依据之前学习的 Q - table，每次选择预期未来成本（Q 值）最低的行动，直到选择“stop”行动，此时宣布检测到攻击并终止流程。当系统恢复到正常运行状态后，可重