TCOM论文学习_Optimal Adaptive Power Control for OTA-FEEL Under Fading Channels

文章地址：Link
摘要：
信道衰落对无线联合边缘学习(OTA-FEEL)的收敛性有很大影响。本文提出了一种新的最优功率控制策略，使OTA-FEEL在任意独立同分布衰落下的最优间隙最小。具体而言，我们揭示了最优功率控制策略采用的结构是，当其平均值给定时，从设备到服务器的有效信道的方差应最小化。在此基础上，提出了一种新的嵌套优化算法，利用拉格朗日对偶方法迭代最小化方差，然后利用一维搜索优化有效信道均值。导出了最优功率控制策略的准封闭表达式。结果表明，OTA-FEEL的最优自适应功率控制是“信道反转”策略和相反的“信道比例”策略的集成，以平衡等效信道的均值与方差。当信道统计量先验未知时，我们也推广了新策略，并证明了最优策略可以随时间渐近逼近。仿真结果证实了该策略在OTA-FEEL的收敛速度和学习精度方面优于现有策略。

Contributions：
1.考虑了一种新的功率控制问题，使OTA-FEEL算法在一般i.i.d衰落信道下的最优性间隙最小化，提高其收敛性。
2.揭示了对于具有(强)凸损失函数OTA-FEEL框架，设备的最优功率控制策略是：在每轮全局聚合时，在等效信道的均值给定时，最小化等效信道的方差。
3.提出了一种新的基于嵌套优化(nested optimization)的算法，以获得每个设备的最优功率控制策略，并推导出了准闭式表达式。算法只需要设备的信道均值和方差，使用拉格朗日对偶方法迭代最小化其有效信道方差，并以完全分布式的方式使用一维搜索优化其有效信道均值。
4.在等效信道均值和方差先验未知的情况下，进一步扩展了最优功率控制策略。应用随机锁定定理，证明了该扩展可以随时间渐近逼近最优策略。

System Model:

设置系统内共有$N$个用户，并考虑全用户参与：
$$F(\mathbf{w})=\frac{1}{N}\sum _{n=1}^N{F}_n(\mathbf{w})=\frac{1}{N}\sum _{n=1}^N\left(\frac{1}{D}\sum _{i=1}^{D}f\left(\mathbf{w},{\mathbf{x}}_{n,i},y_{n,i}\right)\right),$$
借助MAC多址信道叠加特性，设备使用共享频谱资源块上传模型更新；

假设：每个设备都经历一个复数域块衰落信道，其在一个通信轮内是准静态的，在不同的通信轮间中是i.i.d的。这些信道在设备间也是i.i.d的，设备有其与BS间的完美CSI

通过对相位$e^{j{\varphi }_{n,t}}$进行预消除，在通信轮$t$，BS聚合得到
$${\mathbf{y}}_t=\sum _{n=1}^N\underset{\mathrm{effective}\mathrm{channel}}{\underbrace{h_{n,t}{\rho }_{n,t}}}{\mathbf{g}}_{n,t}+{\mathbf{z}}_t,$$
其中，${\rho }_{n,t}$为sacling factor，$h_{n,t}$为fading state，将${\rho }_{n,t}{h}_{n,t}$进一步定义为effective channel，即设备$n$的等效信道

BS随后利用LS方法得到
$${\hat{\mathbf{g}}}_t=\frac{{\mathbf{y}}_t}{N}=\frac{1}{N}\sum _{n=1}^N{h}_{n,t}{\rho }_{n,t}{\mathbf{g}}_{n,t}+{\hat{\mathbf{z}}}_t,$$

随后对全局模型进行更新
$${\mathbf{w}}_{t+1}={\mathbf{w}}_t-\beta {\hat{\mathbf{g}}}_t={\mathbf{w}}_t-\beta \left(\frac{1}{N}\sum _{n=1}^N{h}_{n,t}{\rho }_{n,t}{\mathbf{g}}_{n,t}+{\hat{\mathbf{z}}}_t\right).$$
其中 ${\mathbf{z}}_t\sim \mathcal{N}\left(0,{\sigma }_z^2\mathbf{I}\right){\hat{\mathbf{z}}}_t\sim \mathcal{N}\left(0,\frac{{\sigma }_z^2}{N^2}\mathbf{I}\right)\text{. }$

Convergence Analysis:
Let ${\mu }_h$ and ${\sigma }_h^2$ denote the (same) mean and variance of the i.i.d. fading state $h_{n,t}$ at all devices in any aggregation round. Without scaling (i.e., ${\rho }_{n,t}=1,\forall n,t$ ), the upper bound of the optimality gap for OTA-FEEL with a strongly convex loss function is given as follows.

由convergence result可知，通过较大的信道均值和较小的方差，可以缩小(7)和(8)中的optimality gap。
本文目标即设计一种自适应功率控制策略，以构建具有较大均值和较小方差的良好有效信道，从而最小化(7)和(8)的optimality gap，进而加速OTA-FEEL的收敛。

Problem Formulation:
定义effective channel gain：$h^E:=h\rho (h)$，其相应的均值与方差为：
$$\begin{array}{rl}{\mu }_{h^E}& ={\mathbb{E}}_h[h\rho (h)]\\ {\sigma }_{h^E}^2& ={\mathbb{E}}_h\left[{\left(h\rho (h)-{\mu }_{h^E}\right)}^2\right].\end{array}$$
在上述定义的基础上，通过将(7)和(8)中的 ${\mu }_h$与${\sigma }_h^2$替换为等效信道的${\mu }_{h^E}$与${\sigma }_{h^E}^2$(因为Lemma 1&2可以看作$\rho (h)=1$的退化情况)，给出相应的generalized的optimality gap。

假定在不丧失一般性的情况下，在设备上使用单位能量调制来传输符号，则每个设备上的功率限制为：
$${\mathbb{E}}_h\left[{\rho }^2(h)\right]\le P_0$$

为了最小化optimality gap，优化问题可建模为：
 P1 :  min ⁡ { ρ ( h ) ≥ 0 , ∀ h } G ( μ h E , σ h E 2 )  s.t.  E h [ ρ 2 ( h ) ] ≤ P 0 \text { P1 : } \min _{\{\rho(h) \geq 0, \forall h\}} G\left(\mu_{h^E}, \sigma_{h^E}^2\right) \quad \text { s.t. }\mathbb{E}_h\left[\rho^2(h)\right] \leq P_0  P1 : {ρ(h)≥0,∀h}min​G(μhE​,σhE2​) s.t. Eh​[ρ2(h)]≤P0​
P1显然是非凸的，同时在等效均值给定时，$G()$随等效方差单增，即最优功率控制lies in: 一个${\mu }_{h^E}$，都应最小化${\sigma }_{h^E}^2$。

Problem Transformation:
将${\mu }_{h^E}$视为外层变量，${\sigma }_{h^E}^2$视为内层变量，进而推导出一个嵌套问题结构：
$$\underset{{\mu }_{h}E}{\min }G\left({\mu }_{h^E},{\sigma }_{h^E}^2\left({\mu }_{h^E}\right)\right),$$
where P 2 : σ h E 2 ( μ h E ) = min ⁡ { ρ ( h ) ≥ 0 , ∀ h } E h [ ( h ρ ( h ) − μ h E ) 2 ] , \mathbf{P} 2: \sigma_{h^E}^2\left(\mu_{h^E}\right)=\min _{\{\rho(h) \geq 0, \forall h\}} \mathbb{E}_h\left[\left(h \rho(h)-\mu_{h^E}\right)^2\right], P2:σhE2​(μhE​)={ρ(h)≥0,∀h}min​Eh​[(hρ(h)−μhE​)2],
s.t. $${\mu }_{h^E}={\mathbb{E}}_h[h\rho (h)],{\mathbb{E}}_h\left[{\rho }^2(h)\right]\le P_0$$
求解最优功率控制${\rho }^{\ast }(h)$思路可概括为：
对于任意${\mu }_{h^E}$，获得最优的${\sigma }_{h^E}^2$，再搜索使$G()$最小的${\mu }_{h^E}$

以$\rho (h)$为优化变量，探索P2中的强对偶性：令 ρ : = { ρ ( h ) ≥ 0 , ∀ h } \boldsymbol{\rho}:=\{\rho(h) \geq 0, \forall h\} ρ:={ρ(h)≥0,∀h}，P2的增广拉格朗日函数为：
$$\begin{array}{rl}& \mathcal{L}(\mathbf{\rho },\lambda ,\nu )={\mathbb{E}}_h\left[{\left(h\rho (h)-{\mu }_{h^E}\right)}^2\right]+\lambda ({\mathbb{E}}_h\left[\rho (h{)}^2\right]\\ & -P_0)+\nu \left({\mathbb{E}}_h[h\rho (h)]-{\mu }_{h^E}\right)\\ & \mathcal{G}(\lambda ,\nu )=\underset{\mathbf{\rho }}{\min }\mathcal{L}(\mathbf{\rho },\lambda ,\nu )\end{array}$$
相应的对偶问题为：
$$\underset{\lambda \ge 0,\nu }{\max }\mathcal{G}(\lambda ,\nu )$$
进一步定义：
$$\begin{gathered} \mathcal{J}(\rho (h),\lambda ,\nu ;h)={\left(h\rho (h)-{\mu }_{h^E}\right)}^2+\lambda \rho (h{)}^2+\nu h\rho (h) \\ \mathcal{L}(\mathbf{\rho },\lambda ,\nu )={\mathbb{E}}_h[\mathcal{J}(\rho (h),\lambda ,\nu ;h)]-\lambda P_0-\nu {\mu }_{h^E} \end{gathered}$$
上式表明，对于每个h，都需要最小化$\mathcal{J}()$以最小化$\mathcal{L}()$。
随后，文章推导出含有对偶变量的功率分配$\rho$的闭式形式：

Proof：应用一阶条件，对$\mathcal{L}()$关于$\rho (h)$求导取0即可
随后对对偶函数$\mathcal{G}()$使用次梯度法，$\gamma$为步长
$$\begin{array}{rl}& {\lambda }_{(i+1)}=\max \left({\lambda }_{(i)}+\gamma \left({\mathbb{E}}_h\left[{\rho }_{(i)}^{\ast }(h{)}^2\right]-P_0\right),0\right)\\ & {\nu }_{(i+1)}={\nu }_{(i)}+\gamma \left({\mathbb{E}}_h\left[h{\rho }_{(i)}^{\ast }(h)\right]-{\mu }_{h^E}\right)\end{array}$$
文章进一步利用反证法证明，由于${\nu }^{\ast }$对于${\mu }_{h^E}>0$都是非负的，可得到${\rho }^{\ast }(h)$的简化形式，即
$${\rho }^{\ast }(h)=\frac{h\left(2{\mu }_{h^E}-{\nu }^{\ast }\right)}{2\left(h^2+{\lambda }^{\ast }\right)},\forall h.$$
到此，再次回顾P2：
P 2 : σ h E 2 ( μ h E ) = min ⁡ { ρ ( h ) ≥ 0 , ∀ h } E h [ ( h ρ ( h ) − μ h E ) 2 ] , \mathbf{P} 2: \sigma_{h^E}^2\left(\mu_{h^E}\right)=\min _{\{\rho(h) \geq 0, \forall h\}} \mathbb{E}_h\left[\left(h \rho(h)-\mu_{h^E}\right)^2\right], P2:σhE2​(μhE​)={ρ(h)≥0,∀h}min​Eh​[(hρ(h)−μhE​)2],
根据前述求解得到的${\rho }^{\ast }(h)$，在任意给定的${\mu }_{h^E}$下，都可以给出P2的最优值，再根据一系列的${\sigma }_{h^E}^2\left({\mu }_{h^E}\right)$去做一维搜索，即可得到最优的${\mu }_{h^E}^{\ast }$，其中${\mu }_{h^E}$的搜索范围：
$$\begin{array}{rl}{\mu }_{h^E}& ={\mathbb{E}}_h[h\rho (h)]\\ & ={\int }_0^{\infty }h\rho (h)p(h)dh\\ & ={\int }_0^{\infty }h\sqrt{p(h)}\rho (h)\sqrt{p(h)}dh.\end{array}$$
通过柯西施瓦茨不等式约束:
$$\begin{array}{rl}{\mu }_{h^E}& =\sqrt{{\left({\int }_0^{\infty }h\sqrt{p(h)}\rho (h)\sqrt{p(h)}dh\right)}^2}\\ & \le \sqrt{{\int }_0^{\infty }{h}^{2}p(h)dh}\sqrt{{\int }_0^{\infty }{\rho }^2(h)p(h)dh}\\ & \le \sqrt{\mathbb{E}\left[h^2\right]P_0},\end{array}$$
完整的power control策略可总结为如下Theorem：

相应的算法为：

Online Solution (when the channel statisitics are unknown a-priori):
此时，设备需要在线学习信道的统计信息，相较于前述对偶变量更新：
$$\begin{array}{rl}& {\lambda }_{(i+1)}=\max \left({\lambda }_{(i)}+\gamma \left({\mathbb{E}}_h\left[{\rho }_{(i)}^{\ast }(h{)}^2\right]-P_0\right),0\right)\\ & {\nu }_{(i+1)}={\nu }_{(i)}+\gamma \left({\mathbb{E}}_h\left[h{\rho }_{(i)}^{\ast }(h)\right]-{\mu }_{h^E}\right)\end{array}$$
在第$i$通信轮的基础上，基于此时的$h_{(i)}$，使用随机次梯度上升法逐步学习最优拉格朗日乘子：
$$\begin{array}{rl}{\tilde{\lambda }}_{(i+1)}& =\max \left({\tilde{\lambda }}_{(i)}+\gamma \left({\rho }_{(i)}^{\ast }{\left(h_{(i)}\right)}^2-P_0\right),0\right);\\ {\tilde{\nu }}_{(i+1)}& ={\tilde{\nu }}_{(i)}+\gamma \left(h_{(i)}{\rho }_{(i)}^{\ast }\left(h_{(i)}\right)-{\mu }_{h^E}\right),\end{array}$$
此时，在第$i$通信轮得到的最优功率${\rho }_{(i)}^{\ast }\left(h_{(i)}\right)$可相应得到，相应的算法为

其中，离线与在线算法均基于subgradient method的收敛性得到。