48、TROPHY：利用精度层次结构的信赖域优化

TROPHY：利用精度层次结构的信赖域优化

在大规模计算中，目标函数及其导数的计算成本往往很高。为了降低计算成本，提高效率，本文提出了一种名为TROPHY的算法，它利用精度层次结构进行信赖域优化。

1. 背景

考虑无约束可微函数 $f: R^n \to R$ 的最小化问题：
[
\min_{x \in R^n} f(x)
]

本文聚焦于信赖域（TR）框架，虽然也可以研究线搜索方法（如L - BFGS），但在TR方法中说明误差对模型质量的影响更为简单。

1.1 信赖域方法

信赖域方法是用于数值优化的迭代算法。在每次迭代（计数器为 $k$）时，围绕当前点 $x_k$ 构建模型函数 $m_k: R^n \to R$，满足 $m_k(0) = f(x_k)$ 且 $m_k(s) \approx f(x_k + s)$。模型 $m_k$ 是 $f$ 在信赖域 ${s \in R^n : |s| \leq \delta_k}$（$\delta_k > 0$ 为信赖域半径）上的“良好”局部模型。

通过求解信赖域子问题得到试验步 $s_k$：
[
s_k = \arg\min_{|s| \leq \delta_k} m_k(s)
]

要求满足柯西下降条件：
[
f(x_k) - m_k(s_k) \geq \frac{\mu}{2} \min {\delta_k, \frac{|g_k|}{C}}
]
其中 $\mu$ 和 $C$ 为常数，$g_k = \nabla m(x_k)$。常见的 $m_k$ 选择是