15、优化算法：从近端梯度到期望最大化

优化算法：从近端梯度到期望最大化

1. 近端梯度方法

1.1 投影梯度下降

投影梯度下降用于解决带约束的优化问题，目标是在约束集 $C$ 内最小化损失函数 $L_s(\theta)$，即：
$$\arg\min_{\theta} L_s(\theta) \text{ s.t. } \theta \in C$$
其中，$C$ 是一个凸集，例如箱约束 $C = {\theta : l \leq \theta \leq u}$，可以为每个元素指定上下界。

为了将约束优化问题转化为无约束问题，我们在原目标函数中添加一个惩罚项：
$$L(\theta) = L_s(\theta) + L_r(\theta)$$
其中，$L_r(\theta)$ 是凸集 $C$ 的指示函数：
$$L_r(\theta) = I_C(\theta) =
\begin{cases}
0, & \text{if } \theta \in C \
\infty, & \text{if } \theta \notin C
\end{cases}$$

我们可以使用近端梯度下降来求解上述无约束问题。指示函数的近端算子等价于投影到集合 $C$ 上：
$$\text{proj} C(\theta) = \arg\min {\theta’ \in C} ||\theta’ - \theta||^2$$

对于箱约束 $C = {\theta : l \leq \theta \leq u}$，投影算子可以通过在边界上进行阈值处理逐元素计算：