本文深入探讨数值优化中的信赖域方法，包括基本形式、柯西点算法、Dogleg算法及其二维子空间优化。信赖域方法在迭代过程中，通过选择合适的模型和步长，动态调整可信赖区域，实现高效优化。通过对参数的选择和调整，如Δk的选取，确保算法的全局收敛性。同时，文章介绍了如何解决非凸函数优化问题，展示了在实际问题中的应用和优势。
信赖域方法和线搜索类似都是迭代方法，与其不同的是，每次迭代时，在一个选定的可信赖区域内，选择当前迭代点的近似模型 m k m_k mk ，然后计算最优步长；如果步长不合适，可以对区域进行缩放。该小结主要介绍：
- 信赖域方法的基本形式
- 求解信赖域的基础方法
- 信赖域方法的收敛性和收敛速度
- 信赖域方法的扩展
信赖域方法的基本形式
在信赖域方法中，可信赖的区域（Region）的选择很重要，一般都会根据上一步结果进行动态变化；如果上一步太大则缩小，否则进行扩大。
在模型最优化问题中，选择TR方法比LS方法能够较快的收敛，例如
在该例子中，在非凸函数F中，当前步骤TR方法要优于LS。
信赖域方法有几个参数需要选择：
- 近似模型 m k m_k mk
- 可信赖区域 Δ k \Delta_k Δk
- 求解参数 p k p_k pk
基本形式
在本节中模型选择为二次近似模型，采用函数二阶泰勒展开，即 f ( x k + p ) = f k + g k T p + 1 2 p T ∇ 2 f k p f(x_k+p)=f_k + g_k^Tp + \frac 12 p^T \nabla^2 f_k p f(xk+p)=fk+gkTp+21pT∇2fkp一般情况下会用 B k B_k Bk 去近似Hessian矩阵，即 m k = f k + g k T + 1 2 p T B k p m_k = f_k + g_k^T + \frac 12 p^T B_k p mk=fk+gkT+21pTBkp其中 B k B_k Bk为对称矩阵。
信赖域的基本形式为： m i n m k ( p ) = f k + g k T + 1 2 p T B k p s . t ∣ ∣ p ∣ ∣ ≤ Δ k min \ m_k(p)=f_k + g_k^T + \frac 12 p^T B_k p \quad s.t \ ||p|| \le \Delta_k min mk(p)=fk+gkT+21pTBkps.t ∣∣p∣∣≤Δk
该问题为关于p的带约束的最优化问题，参数p被限制在一个球形区域内。如果 B k B_k Bk选择为Hessian，则为TR的牛顿方法。
如果 ∣ ∣ B k − 1 g k ∣ ∣ ≤ Δ k ||B_k^{-1}g_k|| \le \Delta_k ∣∣Bk−1gk∣∣≤Δk则 p k = − B k − 1 g k p_k=-B_k^{-1}g_k pk=−Bk−1gk为完全步(Full Step)，即球形约束没有作用。
Δ k \Delta_k Δk的选择
参数 Δ k \Delta_k Δk的选择一般会根据上一步的结果进行调整，定义 ρ k = f k − f ( x k + p k ) m k ( 0 ) − m k ( p k ) \rho_k=\frac{f_k-f(x_k+p_k)}{m_k(0)-m_k(p_k)} ρk=mk(0)−mk(pk)fk−f(xk+pk)其中分子表示函数实际减小的值；分母表示近似模型减少的值。分析 ρ k \rho_k ρk:
- 如果 ρ k \rho_k ρk 小于0，一般情况下分母不可能小于0，因为目标函数求解的是最小值；此时说明分子小于0，即下一个目标点比上一步大，此时需要舍弃。
- 如果 ρ k \rho_k ρk 大于0并且接近1，说明模型和实际的预期比较相符合，此时可以考虑扩大 Δ k \Delta_k Δk
- 如果 ρ k \rho_k ρk大于0但是明显小于1，此时可以不用调整
- 如果 ρ k \rho_k ρk大于0，但是接近0，说明模型变化范围比较大，但是实际改变比较小，此时应该收缩或者减少 Δ k \Delta_k Δ
最低0.47元/天 解锁文章
扫一扫
1705
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
