38、有限防御资源下的对抗在线强化学习与增强现实系统安全隐私

有限防御资源下的对抗在线强化学习与增强现实系统安全隐私

1. 有限防御资源下的对抗在线强化学习

1.1 公式推导与分析

在有限防御资源的场景下，对抗在线强化学习有着重要的研究意义。以下是一系列关键公式及推导过程：
[
\begin{align }
\sum_{u = 1}^{\mathcal{U}} \langle q^{\pi^ }, \hat{l} {[u]} - l {[u]} \rangle &= \sum_{u = 1}^{\mathcal{U}} \sum_{s \in \mathcal{S}, a \in \mathcal{A}} q^{\pi^ }(s, a) \hat{l} {[u]}(s, a) - \sum {u = 1}^{\mathcal{U}} \sum_{s \in \mathcal{S}, a \in \mathcal{A}} q^{\pi^ }(s, a) l_{[u]}(s, a) \
&\leq \sum_{s \in \mathcal{S}, a \in \mathcal{A}} q^{\pi^ }(s, a) \frac{1}{2\gamma} \ln \frac{H}{\delta} + \sum_{s \in \mathcal{S}, a \in \mathcal{A}} q^{\pi^ }(s, a) \cdot \sum_{u = 1}^{\mathcal{U}} \frac{q_{[u]}^{\text{SEEDS - UT}, P}(s, a)}{\max_{\hat{P} \i