5、移动边缘人工智能中的优化算法与推理框架

移动边缘人工智能中的优化算法与推理框架

1. 凸优化算法

1.1 复合优化问题

复合优化问题的目标是最小化 $F(x) = f (x) + h(x)$，其中 $f$ 是凸函数且具有 $(\alpha,\beta)$ 可平滑性，$h$ 是凸函数但可能不可微。可以构造 $f$ 的 $\frac{1}{\mu}$ 平滑近似 $f_{\mu}$，其参数为 $(\alpha,\beta)$。求解该问题的更新公式如下：
- $x_{t + 1} = \text{prox} {\eta_t h}(y_t - \eta_t \nabla f {\mu}(y_t))$
- $y_{t + 1} = x_{t + 1} + \frac{\theta_t - 1}{\theta_{t + 1}} (x_{t + 1} - x_t)$

其中 $y_0 = x_0$，$\theta_0 = 1$，$\theta_{t + 1} = \frac{1 + \sqrt{1 + 4\theta_t^2}}{2}$。在更新公式中，使用 FISTA 加速收敛，近端梯度方法处理复合函数。

1.2 对偶和原始 - 对偶方法

1.2.1 约束凸优化问题

约束凸优化问题可表示为：
- 最小化 $f (x)$
- 约束条件：$Ax + b \in C$

其中 $f$ 是凸函数，$C$ 是凸集。将问题转换为带有辅助变量 $z = Ax$ 的形式：
- 最小化 $f (x) + h(z)$
- 约束条件：$Ax = z$

其拉格朗日对偶形式