27、基于深度强化学习的隐私保护任务卸载策略研究

基于深度强化学习的隐私保护任务卸载策略研究

1. 引言

在多用户边缘 - 云协作的移动边缘计算（MEC）系统中，能量消耗、延迟和隐私保护是需要同时考虑的重要因素。本文将探讨如何联合优化能量 - 延迟和隐私级别，提出了一种基于深度强化学习（Deep RL）的隐私保护任务卸载策略。

2. 相关基础技术

2.1 Q - learning 算法

在 Q - learning 中，智能体根据环境状态选择动作，以最大化长期奖励。动作选择遵循 $\epsilon$-greedy 策略，公式如下：
[
a =
\begin{cases}
\arg\max_{a} Q(s, a), & x \leq 1 - \epsilon \
\forall a, & x > 1 - \epsilon
\end{cases}
]
其中，$x$ 是一个取值范围在 $[0, 1]$ 的随机数。智能体执行动作 $a$ 后，会获得相应的奖励 $r$，并进入下一个状态 $s’$。我们将序列 $(s, a, r, s’)$ 称为一个经验。基于这些经验，智能体可以通过以下方式更新 $Q(s, a)$：
[
Q(s, a) \leftarrow Q(s, a) + \alpha(r + \gamma \max_{a’} Q(s’, a’) - Q(s, a))
]
其中，$\alpha \in (0, 1]$ 和 $\gamma \in [0, 1]$ 是可调整的参数。通过足够的经验和值函数的迭代，我们可以得到一个名为 Q - table 的数组，其中行表示动