16、结合在线学习与均衡计算的边境巡逻策略研究

结合在线学习与均衡计算的边境巡逻策略研究

1. 问题背景与攻击者行为模型

在边境巡逻场景中，防御者需要对攻击者的收益进行估计，但这种估计存在一定的不确定性。防御者会得到攻击者偏好向量的近似值 (v’ {\Psi})，满足对于每个 (j) 都有 (|v {\Psi j} - v’_{\Psi j}| < \epsilon)，其中 (\epsilon) 是双方都知道的一个值。

以边境巡逻游戏为例，防御者先选择一个区域进行巡逻，攻击者在不知道防御者具体巡逻区域的情况下选择一个区域进行穿越。在第 100 轮时，有区域偏好向量 (v_{\Psi}) 和巡逻历史向量 (h_{100})。若攻击者选择的区域与防御者巡逻的区域相同，则会被抓获；若选择防御者未巡逻的区域，则能成功穿越边境。

攻击者行为模型方面，主要关注为防御者设计对抗适应性对手的有效策略。这里采用一种基于虚构游戏学习策略的简单自然策略。虚构游戏中，玩家会形成对对手策略的信念，并基于这些信念做出理性行为。标准的虚构游戏模型假设对手采用固定的混合策略，玩家根据对手游戏的经验频率来形成对对手策略的信念。

定义对抗性攻击者为在假设防御者采用与归一化巡逻历史相对应的混合策略时，攻击能使自己期望收益最大化区域的攻击者，即 (j_t = \arg \max_j(v_{\Psi j} - \pi_{\Psi} * c_{t j}))。这种攻击者策略相对于一些天真的攻击者策略而言是最坏情况策略。同时，还考虑攻击者行为的快速变化，引入具有变化的对抗性攻击者，其偏好向量 (x_{\Psi u}) 在游戏的几个点会快速变化，而防御者并不知道这些变化及其发生时间。

2. 博弈论基础 </