18、希尔伯特空间中带不精确梯度的凸优化及其在椭圆逆问题中的应用

希尔伯特空间中带不精确梯度的凸优化及其在椭圆逆问题中的应用

1. 引言

在解决希尔伯特空间中的凸优化问题时，提出了梯度下降类型的方法。这些方法可用于解决泊松方程的不适定柯西问题，并与兰德韦伯迭代法和最速下降法进行了比较。其理论创新点在于为带不精确梯度（加性噪声）的加速梯度方法开发了一种新的停止规则。在停止之前，方法几乎不受噪声影响，但之后噪声会累积，导致方法可能发散。

在解决问题时，不将无限维问题近似为有限维问题，而是在希尔伯特空间中直接求解。不过，在计算泛函的梯度（弗雷歇导数）时使用问题的近似，这会导致梯度计算存在不精确性。只考虑无一维线搜索的梯度类型程序，原因是一些流行方法（如最速下降法和共轭梯度法）存在误差累积问题，可能导致算法发散。使用涅斯捷罗夫规则来选择自适应步长策略。

基本算法包括梯度下降、类似三角形法（STM）及其组合。这些算法的梯度误差累积理论已得到很好的发展。

2. 原始方法

假设 $q \in H$，$H$ 是一个希尔伯特空间，研究优化问题 $J(q) \to \min_{q\in H}$，其中 $J$ 是 $H$ 中的凸泛函。设 $y_0 \in H$ 是迭代方法的起点，$R = |y_0 - q^ |_2$，$q^ $ 是问题的解。假设 $J(q)$ 具有利普希茨弗雷歇导数，即存在 $L > 0$，使得 $|\nabla J(q_2) - \nabla J(q_1)|_2 \leq L |q_2 - q_1|_2$。

以下是具体的算法：
- 类似三角形法（STM） ：