能量收集下的MEC计算卸载博弈

能量收集辅助的异构移动边缘计算中的计算卸载

摘要

本文从博弈论视角研究了在具有能量收集的异构 MEC系统中，将计算任务从多个移动设备（MDs）卸载到多个 MEC服务器（MEC‐ss）的问题。目标是最小化由数据通信时间、等待时间和处理时间组成的移动设备的平均响应时间。为移动设备和MEC‐ss建立了 M/G/1排队模型。考虑了移动设备间的干扰、计算任务生成的随机性、收集能量的到来、无线信道状态、MEC处的排队以及每个移动设备的功率预算约束。构建了一个非合作计算卸载博弈。此外，我们重构了移动设备的优化问题，提出并执行了一种两步分解方法。由此，我们得到了一个一维搜索问题和一个显著缩小的子问题。该子问题是非凸的，但其卡鲁什‐库恩‐塔克（KKT）条件具有有限解。因此，可以通过寻找这些有限解来获得该子问题的最优解。随后，设计了一种分布式迭代最优响应算法。通过仿真验证了所提算法的收敛性能和参数影响。

一、引言

近年来，大型多人在线游戏、虚拟现实以及基于人工智能的应用（例如增强现实和人脸检测）已出现在智能移动设备上。高计算能力需求、低延迟、高能耗以及严格的设备尺寸限制给智能移动设备带来了巨大挑战，尤其是对CPU和电池而言。为了延长电池寿命，能够将环境中的能量（如太阳能、环境射频信号）转化为电能的能量收集技术已在无线通信中得到广泛应用[1]。移动边缘计算通过无线接入网络在移动设备附近提供云服务，可有效增强移动设备的计算能力并降低延迟[2]。结合上述两种技术的优势，能量收集辅助的移动边缘计算能够帮助移动设备处理计算密集型、延迟敏感且高能耗的应用。

在[3]中，考虑了一种具有能量收集设备的绿色 MEC系统，并开发了一种基于李雅普诺夫优化的高效动态计算卸载算法。在[4]中，设计了一种基于强化学习的能量收集MEC资源管理算法。在[5]中，研究了绿色 MEC的多用户多任务计算卸载问题，利用李雅普诺夫优化方法确定能量收集策略和任务卸载调度。在[6]中，研究了能量收集边缘计算，设计了一种基于马尔可夫决策过程的有效且高效的能量收集与数据传输调度策略。在[7]中，讨论了由能量收集MD和调度器组成的边缘计算系统中的计算卸载问题，提出了一种在线奖励最优拍卖机制，以最大化处理卸载任务的长期奖励和。在[8]中，研究了无线供能的移动边缘计算网络中的计算效率最大化问题。在[9]中，提出了一种基于深度强化学习的在线卸载框架，旨在最大化采用二进制计算卸载的无线供能 MEC网络中的加权和计算速率。

本文研究了在具有能量收集的多个异构移动边缘计算网络中的计算卸载问题。存在来自不同移动边缘计算网络的多个移动设备和多个多接入边缘计算服务器（MEC‐ss）。除了本地处理外，每个具备能量收集能力的移动设备还可以通过无线信道将部分或全部计算任务卸载到移动边缘计算服务器。当移动设备通过共享的无线信道同时向移动边缘计算服务器卸载任务时，会产生干扰，从而影响每个移动设备的数据传输时间。我们为移动设备和移动边缘计算服务器建立了 M/G/1排队模型。来自不同移动设备的任务在每个移动边缘计算服务器处排队等待，因此彼此之间的等待时间相互影响。也就是说，移动设备的卸载策略会相互影响各自的响应时间。对于每个移动设备而言，卸载决策需考虑以下物理条件：计算任务的产生、收集能量的到来、无线信道状态、排队时间以及功率预算约束。如何选择移动边缘计算服务器以及卸载多少任务，对每个移动设备而言都是一个具有挑战性的问题。首先，建立了一个非合作博弈框架来描述移动设备的卸载行为。在该博弈中，

移动设备是参与者，动作为一个向量，对应于每个多接入边缘计算服务器的卸载量（对于未被选择的移动边缘计算服务器，该值为0）以及本地处理的卸载量。动作需满足物理条件的约束。收益是每个移动设备计算卸载的平均响应时间，包括数据通信时间、计算时间和等待时间。接下来，为构建的博弈设计了最佳响应迭代算法。尽管每个移动设备的优化问题难以处理，但它被分解为两步结构：一维搜索和一个子问题。该子问题不是凸的，但可以通过在 KKT条件的有限解中进行搜索来求解。

II. 系统模型与问题表述

考虑由 M个移动设备和 N个移动边缘计算服务器组成的异构MEC网络。该移动设备表示为移动设备1， · · ·，移动设备 M。多接入边缘计算服务器表示为多接入边缘计算服务器1， · · ·，多接入边缘计算服务器 N。形式上， M={0, · · ·, M}是移动设备集合， N={1, · · ·, N}表示多接入边缘计算服务器集合。每个移动设备都配备了能量收集组件，能够从环境中获取能量。通常情况下，多接入边缘计算服务器的计算能力超过移动设备，因此移动设备更倾向于将部分计算任务卸载到多接入边缘计算服务器。移动设备根据某些优势（例如实时邻近性、无线信道状态等）选择一个多接入边缘计算服务器进行计算卸载。假设移动设备 i以概率pi,j向多接入边缘计算服务器 j卸载计算任务。显然，∑ pi,j= 1。我们j∈N
假设移动设备共享相同的无线频带宽度用于计算卸载。考虑一个移动设备的 M/G/1模型，并假设该移动设备i上的计算任务以到达率 λi的泊松过程生成。此外，生成的计算任务流被划分为˜卸载的计算任务子流，其速率为 λi， 以及本地处理子流，其速率为˜ ˆ，其中 λi， λi= λi+ λi。

从移动设备 i卸载到多接入边缘计算服务器 j˜ ˜
的计算任务构成一个到达率为λi,j = pi,j λi的泊松流。对于多接入边缘计算服务器 j，来自移动设备 ˜的接收计算任务
构成一个到达率为π j = ∑ λi,j的泊松流。 i∈M

为每个MEC‐s建立了一个排队模型。设在MD i上生成的计算任务的执行需求（例如，需要执行的处理器周期数）
为独立同分布的随机变量 ri。令 fi和 F j 分别为MD i
和MEC‐s j的处理器计算速度（每秒周期数，即赫兹）。
MD i与MEC‐s j之间传输的通信数据量表示为独立同
分布的随机变量Ai, j。MD i与MEC‐s j之间的数据传输
速率为Ri, j。在MD i上的本地处理时间为 r i
f i
。从MD i卸载到MEC‐s j的计算任务的处理时间为 r i
F j
+
A i , j
R i , j ，其
中 r i
F j
为计算时间，A i, j
R i , j 为数据传输时间。在MEC‐s j 上计算任务的处理时间可用均值为τ ¯ j = ∑i ∈ M pi, j( r¯ i
F j
+
¯ A i, j
R i, 的随机变量τ j表示
以及二阶矩τ ¯ 2 j=∑i∈M pi,j( Fr¯2ij + 2 r¯i ¯ Ai, j +
¯ A2
i, j Ri,
j) .。在多接入边缘计算服务器MEC‐sj上，计算任务的平均等待时间可表示为 ωj= πj τ¯2 j
2 (1−ζj)[?],，其中 ζj= πj τ¯j
是MEC‐s j的利用率。从移动设备MD i卸载到MEC‐s j的
计算任务的平均响应时间可表示为Ti,j= r¯i Fj
+
¯ Ai, j Ri,
j + ωj。在移动设备MD i上生成的计算任务的平均响应时
间为Ti= λˆi λi r¯i fi + λ˜i λi∑j∈N pi,jTi,j.。移动设备MD i与 MEC‐s j之间的信道系数为hi,j，信道带宽为 B，从移动设备 MD i到MEC‐s j的传输功率为Pi,j。数据传输速率由Ri,
j= B log2(1+ Pi,j|hi j|2 N0+Ij
,)给出，其中 N0为噪声功率， Ij= ∑l6=i,l∈M Pl,k|hl,j|2k∈N为接收干扰。功耗可表示为Pi,
j= ξi,j(2 Ri,j B − 1)，其中ξi,j= N0+Ij |hi j|2。对于一次计算任务卸载，从移动设备MD i到MEC‐s j的数据传输平均能耗为
Pi,j ¯ Ai, j
均数据传输能耗可写为Et, i=
∑j∈N pi jPi j ¯ Ai j Ri j
. ,,,
,由于移动设备MD i上计算所产生的功耗可表示为 ηif 3 i， 其中 ηi为计算能效。移动设备MD i上的平均计算功耗可描
述为Pc,i= σiηif 3 i+ Ps，其中σi= ˆλi r¯i fi
为移动设备MD i的处理器利用率， Ps为无计算执行时的功耗。移动设备 ˜MD i
上通信与计算的平均功耗可表示为Pi= λiEt,i+ Pc,i。假设移动设备MD i的能量收集到来过程是独立同分布的，速率为 Ei。采用贪心策略进行能量收集使用，即优先使用可用的收集能量，在高概率下是最优的[1]。因此，所受约束的平均额外功率可写为 Pi −Ei。

移动设备 i旨在满足功率约束的条件下最小化平均响应时间。从数学上讲，
(P1) min
{λ˜ i, j}j∈ N Ti (1)
˜ ˜约束条件为λi,j ≥ 0, ∀j ∈ N, λi ≤ λi,
ζ j ≤ 1, ∀j ∈ N, Pi − Ei ≤ Ci，其中 Ci是移动设备 i上的功率约束。移动设备具有自私性，相互竞争以通过调整其计算卸载策略来最小化自身的平均响应时间。形式上，移动设备
的非合作博弈可表述为 G={Ω{Si}i ∈ Ω ,{Ui}i ∈ Ω} ，其中
Ω= M为参与者集合， Si ={Si =(λ˜i,1 , · · ·, λ˜ i,N):λ˜i,
j ≥ 0, ∀j ∈ N,
λ˜ i ≤ λ i ζ j ≤ 1 ∀j ∈ N ,,,
P i − Ei ≤ C i .}为参与者 i的卸载策略（本文中我们关注计
算分配策略；当将数据传输速率{Ri, j}j =1,···,N引入策略时，
则对应于计算与资源的联合分配）， U i = T i 为收益。

第三部分. 问题分析与算法设计

(P1) 的KKT条件对于最优解是必要的。通常情况下， 这非常具有挑战性，甚至难以处理
˜ ˜由于优化变量{λi,1, · · ·, λi,N}相互耦合（出于篇幅限制，(P1)的KKT条件表达式被省略）。然后我们得到以下引理，即引理1，用于推导一个等效的优化问题。

引理1。 移动设备 i的响应时间最小化问题，即(P1)，可以等效地重构为
(P2) inf
ti∈[0,λi]
min
Si
λi − ti λi r¯i fi
+ 1
λi
N
∑
j=1
˜ λi,j(φi,j+ 1 2
θi,j
λi˜,j 2
ti
+ ˜ λi,jαi,j+
λi˜,j ti βi,j+ γi,j 1 −(φi,j λi˜,j 2
ti
+ ˜ λi,jδi,j+
λi˜,j ti µi,j+ νi,j)) (2)
s.t.
$$
\begin{cases}
\tilde{\lambda} {i,j} \geq 0, & \forall j \in N, \
\sum {j=1}^{N} \tilde{\lambda} {i,j} = t_i \leq \lambda_i, \
\phi {i,j} \frac{\tilde{\lambda} {i,j}^2}{t_i} + \tilde{\lambda} {i,j}\delta_{i,j} + \frac{\tilde{\lambda} {i,j}}{t_i} \mu {i,j} + \nu_{i,j} - 1 \leq 0, & \forall j \
\sum_{j=1}^{N} \tilde{\lambda} {i,j}(P {i,j} \frac{\bar{A} {i,j}}{R {i,j}} + \frac{\bar{r}_i}{f_i} \eta_i f_i^3) + P_s - E_i - C_i \leq 0.
\end{cases}
$$

其中
θk,j=
r¯ 2 k
F j + 2 r¯k ¯ Ak, j
F j Rk, j
+
¯ A2 k, j Rk, j
, φk,j= r¯k
F j
+
¯ A k, j
R k, j , αi,j= ∑
k≠i λ˜ k, j θ k, j N
∑
l=1
λ˜ k,l
= ∑
k≠i λ˜ k, j φ k, j N
∑
l=1
λ˜ k,l
, µi,j =
φi,j(∑ l≠i
˜ λl,j) , and νi,j =(∑ l≠i
˜ λl,j)
$$
\left(\sum_{k≠i} \frac{\tilde{\lambda} {k,j} \phi {k,j}}{\sum_{l=1}^{N} \tilde{\lambda}_{k,l}}\right).
$$

在(P2)中，我们首先固定约束条件中 λi, j的和，即∑ λi,
l= ti。然后，在可行范围内改变该和。该和可被视为一个中间变量。因此，(P2)可以通过两步策略来解决。首先，
对于给定的 ti ∈[0, λ i]，求解以下缩减问题，即(P3)。

(P3) T ∗ i(ti) = min S i
λ i − t i
λ i
r¯ i fi
+ 1 λ i
N
∑
j =1
˜ λ i, j( φ i, j + 1 2
×
θ i, j ˜ λ i, j 2
t i
+ ˜ λ i, j α i, j +
˜ λ i, j
t i
β i, j + γ i, j 1 −(φi, j ˜ λ i, j 2
t i
+ ˜ λ i, j δ i, j +
˜ λ i, j
t i
µ i, j + ν i, j)) (4)
s.t.
$$
\begin{cases}
\tilde{\lambda} {i,j} \geq 0, & \forall j \in N, \
\sum {j=1}^{N} \tilde{\lambda} {i,j} = t_i, \
\phi {i,j} \frac{\tilde{\lambda} {i,j}^2}{t_i} + \tilde{\lambda} {i,j}\delta_{i,j} + \frac{\tilde{\lambda} {i,j}}{t_i} \mu {i,j} + \nu_{i,j} - 1 \leq 0, & \forall j \
\sum_{j=1}^{N} \tilde{\lambda} {i,j}(P {i,j} \frac{\bar{A} {i,j}}{R {i,j}} + \frac{\bar{r}_i}{f_i} \eta_i f_i^3) + P_s - E_i - C_i \leq 0.
\end{cases}
$$

接下来，通过一维搜索找到最优的 ti∗= inf
ti∈[0,λi]
T∗ i(ti)。

接下来，我们将重点解决缩减问题(P3)。在此基础上， 我们设计了一种迭代最优响应算法。

(P3)是一个分式规划问题，通常不是凸的。KKT条件可以在引理2中推导得出。

引理2。 对于优化问题(P3)，KKT条件可以描述为
$$
\begin{cases}
(7), & \forall j \quad (6a) \
\tilde{\lambda} {i,j} \geq 0, & \forall j \quad (6b) \
\varepsilon_j \geq 0, & \forall j \quad (6c) \
\varepsilon_j \tilde{\lambda} {i,j} = 0, & \forall j \quad (6d) \
\sum_{j=1}^{N} \tilde{\lambda} {i,j} - t_i = 0, & (6e) \
\frac{\phi {i,j}}{t_i} \tilde{\lambda} {i,j}^2 + (\delta {i,j} + \frac{\mu_{i,j}}{t_i}) \tilde{\lambda} {i,j} + \nu {i,j} - 1 \leq 0, & \forall j \quad (6f) \
\$j \geq 0, & \forall j \quad (6g) \
\$j[\frac{\phi_{i,j}}{t_i} \tilde{\lambda} {i,j}^2 + (\delta {i,j} + \frac{\mu_{i,j}}{t_i}) \tilde{\lambda} {i,j} + \nu {i,j} - 1] = 0, & \forall j \quad (6h) \
\sum_{j=1}^{N} \tilde{\lambda} {i,j}( P {i,j} \frac{\bar{A} {i,j}}{R {i,j}} + \frac{\bar{r} i}{f_i} \eta_i f_i^3) + P_s - E_i - C_i \leq 0, & (6i) \
\rho \geq 0, & (6j) \
\rho[\sum {j=1}^{N} \tilde{\lambda} {i,j}( P {i,j} \frac{\bar{A} {i,j}}{R {i,j}} + \frac{\bar{r}_i}{f_i} \eta_i f_i^3) + P_s - E_i - C_i] = 0, & (6k)
\end{cases}
$$

其中 ε j , \$j , 和 ρ 是乘子，
Xi,j = φi,j − ε j + χ+
ρ(Pi,j ¯ A i, j
R i, j
+ r¯ i fi ηif 3 i) + \$ j(
µ i, j
t i + δi,j) .

在(6)中，变量{λi,1, · · ·, λi,N}已经解耦。每个变量都可以通过求解具有常数系数的五次方程独立获得。通常情况下，KKT条件给出的是必要解而非充分解。然而，(6)具有有限解。一个五次方程有五个解，因此我们最多有 5 N种组合。通过穷举这些组合，我们可以得到最优解。

我们设计了算法1，以在其他移动设备的卸载策略固定时获得该移动设备的最佳响应。从数学上讲，算法1旨在求解优化问题(P2) 的解。采用所提出的两阶段策略。在算法1中，我们描述了一种黄金分割搜索方法用于
处理 ti∗= inf
ti∈[0,λi]
T∗ i(ti)时采用一维搜索。对于每个 ti，
通过求解KKT条件(6)得到 T∗ i(ti)。最后，我们得到最优卸载策略和平均响应时间。

算法1：针对移动设备 i 的最优卸载算法 给定其他移动设备的卸载策略

步骤1： $ k= 0 $，初始化 $ a= 0, b= \lambda_i, a_1= b - 0.618 \ast(b - a) $，
$ a_2= a+0.618 \ast(b - a) $， $ f_1= T^ _i(a_1) $， $ f_2= T^ _i(a_2) $。

步骤2： 如果 $ f_1 > f_2 $，
则 $ a= a_1, a_1= a_2, f_1= f_2, a_2= a+0.618 \ast(b - a) $, $ f_2= T^ _i(a_2) $。
否则
$ b= a_2, a_2= a_1, f_2= f_1, a_1= b - 0.618 \ast(b - a) $, $ f_1= T^ _i(a_1) $。

步骤3： $ k= k+1 $，直到收敛后转到步骤2。

步骤4： $ t^ = \frac{a+b}{2} $。最优策略是给定 $ t^ $ 时方程(6)的解。

算法2：迭代分布式最佳响应算法

步骤1： $ k= 0 $，为 M 初始化可行策略移动设备,$ {S^{(0)} i} {i\in M} $。

步骤2： 对于每个 $ i \in M $，计算卸载策略 $ S^{(k+1)} i $ 通过应用算法1，给定 $ S^{(k)} {-i} $。

步骤3： $ k= k+1 $，直到收敛后转到步骤2。

在处理 $ t^ i = \inf {t_i \in [0,\lambda_i]} T^ _i(t_i) $ 时采用一维搜索。对于每个 $ t_i $，通过求解KKT条件(6)得到 $ T^*_i(t_i) $。最后，我们得到最优卸载策略和平均响应时间。

在算法2中，每个移动设备都有一个可行的初始卸载策略 $ {S^{(0)} i} {i\in M} $。在第 $ k $ 次迭代中，移动设备 $ i $ 在其他移动设备采用第 $ (k - 1) $ 次迭代的卸载策略 $ S^{(k)} {-i} $ 的情况下，通过应用算法1推导出其最优的卸载策略 $ S^{(k+1)}_i $。所有 M 个移动设备在本次迭代中完成更新。当满足停止准则时，迭代算法的执行终止。记算法2的输出结果为 $ S^ _i =(\lambda^ {i,1}, \cdots, \lambda^*_{i,N}) $。

IV. 数值结果

在本节中，通过仿真验证并展示所提出算法的有效性和高效性。我们讨论2个移动设备和2个多接入边缘计算服务器场景。除非另有说明，参数设置如下：
$ \lambda_1 = 5, \lambda_2 = 4, f_1 = 2, f_2 = 2, F_1 = 20, F_2 = 18, \bar{r} 1 = 1.5, \bar{r}_2 = 1.1, \bar{r}^2_1 = 0.7, \bar{r}^2_2 = 0.9, \bar{A} {1,1} = 1, \bar{A} {1,2} = 1, \bar{A}^2 {1,1} = 0.6, \bar{A}^2_{1,2} = 0.4, \bar{A} {2,1} = 1, \bar{A} {2,2} = 1, \bar{A}^2_{2,1} = 0.5, \bar{A}^2_{2,2} = 0.5, \eta_1 = 0.55, \eta_2 = 0.6, P_s = 0.3, E_1 = 12, E_2 = 11, C_1 = 80, C_2 = 85, N_0 = 0.1, B= 10, R_{1,1} = 7, R_{1,2} = 5, R_{2,1} = 7, R_{2,2} = 6 $。考虑瑞利衰落环境，无线信道的功率增益 $ |h_{i,j}|^2 $ 分别服从均值为0.3, 0.2, 0.25, 0.25 的指数分布。

观察到 $ \frac{\phi_{i,j} \tilde{\lambda} {i,j}^2}{t_i} + \tilde{\lambda} {i,j} \delta_{i,j} + \frac{\tilde{\lambda} {i,j}}{t_i} \mu {i,j} + \nu_{i,j} -1= 0 $ 不应达到最优解，否则目标函数值将为无穷大。因此，对应的拉格朗日乘子 $ \$j = 0 $。

图1绘制了多接入边缘计算服务器的计算能力对平均响应时间的影响，同时随着系数 $ c $、 $ F_1= 20 \ast c $、 $ F_2= 18 \ast c $ 的变化情况。平均响应时间随着 $ c $ 的增加而减少，起初下降明显，之后趋于平缓。这是因为当 MEC‐s 1 和 MEC‐s 2 的计算能力增强时，在一定的计算卸载策略下，多接入边缘计算服务器上的处理时间和等待时间变短（数据传输时间保持不变），从而导致平均响应时间减少。起初，处理时间和等待时间在平均响应时间中占主导地位，因此下降较为显著；随着处理时间和等待时间的减少，在 $ c $ 达到某一数值后，它们不再占主导地位，平均响应时间的下降幅度也随之变得平缓。

图2绘制了关于数据传输速率的平均响应时间。$ R_{1,1} $ 随系数 $ c $ 变化，$ R_{1,1}= 7 \ast c $。我们可以发现，随着 $ R_{1,1} $ 的增加，移动设备1的响应时间起初明显下降，随后趋于平缓。与此同时，移动设备2的平均响应时间起初有所上升，之后保持不变。
原因如下：当 $ R_{1,1} $ 增加时，移动设备1的数据传输时间减少，同时传输时间在平均响应时间（数据传输时间加上处理时间加上等待时间）中所占比例变小，因此响应时间起初下降较快，随后变得缓慢。对于移动设备2而言，其卸载策略起初发生变化，导致平均响应时间上升；当卸载策略保持稳定后，$ R_{1,1} $ 对其平均响应时间影响较小。

图3显示了计算任务生成速率变化时的平均响应时间。在仿真中，$ \lambda_2= 4\ast c, \bar{r} 2= 1.1\ast c, \bar{r}^2_2= 0.9\ast c^2, \bar{A} {2,1}= 1\ast c, \bar{A} {2,2}= 1\ast c, \bar{A}^2 {2,2}= 0.5 \ast c^2 $。从图中可以看出，当移动设备2的计算任务生成速率增加时，其平均响应时间明显增加。这是因为处理时间、等待时间和传输时间随着任务生成速率的增加而增加。对于移动设备1而言，其平均响应时间起初略有上升，随后变化不大。原因如下：当移动设备2有更多任务需要卸载时，在固定卸载策略下，移动设备1的等待时间增加，因此其平均响应时间最初上升；当平均响应时间超过某一值时，移动设备1会调整其卸载策略以减轻影响，从而使响应时间后续仅有轻微变化。

五、结论

本文讨论了在能量收集辅助的异构MEC网络中，通过无线干扰信道进行多移动设备到多接入边缘计算服务器的计算卸载。我们建立了一个非合作计算卸载博弈框架，考虑计算任务生成、无线信道、收集的能量、排队时间、移动设备间的干扰、传输功率预算以及每个移动设备的平均响应最小化目标的随机特性。通过问题重构、两步分解以及KKT条件的求解，解决单个移动设备的优化问题。由此，我们提出了一种迭代分布式最佳响应算法。仿真研究了收敛性能和参数的影响。未来的研究主题包括将传输速率分配与计算卸载相结合、时间效率提升等。