18、应对中间人攻击的强化学习机制研究

应对中间人攻击的强化学习机制研究

1. 引言

在网络通信中，中间人攻击是一种常见且危险的攻击方式。为了有效防御这种攻击，我们提出了一种基于强化学习的机制。该机制利用探测器收集网络信息，并通过强化学习算法选择最优的数据包转发路径，以避开受攻击的节点。

2. 系统模型

2.1 似然比与状态建模

在测试过程中，似然比会不断摆动。似然比表示特定节点被入侵的可能性，由于攻击模式是动态的，所以似然比会持续变化。当节点安全时，检测序列全为 0，似然比的值较低（约为 -15），且会因探测器检测误差产生一些波动；当发生入侵时，探测器会生成全为 1 的检测序列，在几个时间步内似然比会升高。

对于一个包含 N 个节点（每个节点都有一个探测器）和一个客户端 - 服务器对的网络，在时间 t，强化学习的状态可以建模为：
[s_t = [r_1(t), r_2(t), r_3(t), \cdots, r_N(t), Path(t)]]
其中，如果当前流量不经过节点 i，则将似然比 (r_i) 设置为 0。

2.2 动作空间

对于一个客户端 - 服务器对，假设有 M 条可能的转发路径。控制器可以决定在每条路径上发送或丢弃数据包，因此总共有 2M 种不同的动作。动作空间定义为 (a = 1, 2, 3, \cdots, 2M)，其中 (1 \leq a \leq M) 表示控制器决定在相应路径 a 上丢弃数据包，而 (M + 1 \leq a \leq 2M) 表示控制器决定在路径 ((a - M)) 上传输数据包。

2.3 奖励机制

奖励是强化学习框架的关键