暴力拆解《Numerical Optimization》之信任域方法（下）——柯西点

最新推荐文章于 2023-09-02 19:53:05 发布

Fiona_ll

最新推荐文章于 2023-09-02 19:53:05 发布

阅读量3.3k

点赞数 1

分类专栏：数值优化最优化优化文章标签： optimization 最优化信任域数值优化柯西点

本文链接：https://blog.youkuaiyun.com/lucylove3943/article/details/41088051

版权

数值优化同时被 3 个专栏收录

7 篇文章

订阅专栏

最优化

7 篇文章

订阅专栏

优化

7 篇文章

订阅专栏

本文详细介绍了信任域方法中柯西点的求解过程，包括柯西点的定义、求解步骤及其特点。此外，还探讨了柯西点与整步的区别，并为读者提供了进一步了解近似解求解方法的基础。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前面一篇博客写到了 $p_{k}$ 的精确解。下面就分析一下 $p_{k}$ 的近似解。

1.柯西点 $x_{k+1} = x_{k} +{p_{k}}^{c}$

考虑 $m_{k}(p)=f_{k}+{g_{k}}^{T}p+\frac{1}{2}p^{T}Bp$ 的线性部分，计算 ${p_{k}}^{s}$ ，使得：

$\underset{p\in \mathbb{R}^{n}}{min} \quad f_{k}+g^{T}p \quad \left \| p\right \|\leqslant \bigtriangleup _{k}$

此时，我们可以解得：

${p_{k}}^{s} = -\frac{\bigtriangleup _{k}}{\left \| g_{k} \right \|}g_{k}$

该方向为目标函数的梯度负方向，其长度为 $\bigtriangleup _{k}$ 。要注意，这个时候我们所要求的 ${p_{k}}^{c}$ 还没有求出来， ${p_{k}}^{c}$ 的求解公式为：

${p_{k}}^{c} = \tau {p_{k}}^{s}$

我们需要求解 $\tau$ ，使 ${p_{k}}^{c}$ 在信任域的范围内，并且 $m(\tau {p_{k}}^{s})$ 的值最小：

$\underset{\tau\geqslant 0}{min} \quad m(\tau {p_{k}}^{s}) \quad \left \| \tau {p_{k}}^{s} \right \|\leqslant \bigtriangleup _{k}$

可以解得：

$\tau = \begin{cases} 1 \quad ,if {g_{k}}^{T}Bg_{k}\leqslant 0\\ min(\frac{\left \| g_{k} \right \|^{3}}{\bigtriangleup _{k}{g_{k}}^{T}Bg_{k}},1)\quad, otherwise \end{cases}$

a.当 ${g_{k}}^{T}Bg_{k}\leqslant 0$ 时， $\tau$ 越大， $m(\tau {p_{k}}^{s})$ 越小，所以 $\tau$ 应该取最大值等于1（因为 ${p_{k}}^{c}$ 不能超出信任域范围）。

b.当 ${g_{k}}^{T}Bg_{k}> 0$ 时，将 ${p_{c}}^{k}=-\tau\frac{\bigtriangleup _{k}}{\left \| g_{k} \right \|}g_{k}$ 代入模型函数，可得：

$m(\tau{p_{k}}^{s}) = f_{k}+{g_{k}}^{T}\left ( -\frac{\tau\bigtriangleup _{k}}{\left \| g_{k} \right \|} \right )g_{k}+\frac{1}{2}(\frac{\tau\bigtriangleup _{k}}{\left \| g_{k} \right \|})^{2}{g_{k}}^{T}Bg_{k}$

对 $\tau$ 求导，可得：

$\tau(\frac{\bigtriangleup _{k}}{\left \| g_{k} \right \|})^{2}{g_{k}}^{T}Bg_{k}-\left \| g_{k} \right \|\bigtriangleup _{k}$

另上式为0，可得：

$\tau = \frac{\left \| g_{k} \right \|^{3}}{\bigtriangleup _{k}{g_{k}}^{T}Bg_{k}}$

当 ${p_{k}}^{c} = \tau {p_{k}}^{s}$ 在信任域范围内时，我们当仁不让的应该取 $\tau = \frac{\left \| g_{k} \right \|^{3}}{\bigtriangleup _{k}{g_{k}}^{T}Bg_{k}}$ 。但是，若 ${p_{k}}^{c} = \tau {p_{k}}^{s}$ 超出了信任域的边界，根据 $\frac{\left \| g_{k} \right \|^{3}}{\bigtriangleup _{k}{g_{k}}^{T}Bg_{k}}\geqslant 1$ 我们可以推出， $\tau(\frac{\bigtriangleup _{k}}{\left \| g_{k} \right \|})^{2}{g_{k}}^{T}Bg_{k}-\left \| g_{k} \right \|\bigtriangleup _{k}$ 是小于0的。那么说明：

$m(\tau{p_{k}}^{s}) = f_{k}+{g_{k}}^{T}\left ( -\frac{\tau\bigtriangleup _{k}}{\left \| g_{k} \right \|} \right )g_{k}+\frac{1}{2}(\frac{\tau\bigtriangleup _{k}}{\left \| g_{k} \right \|})^{2}{g_{k}}^{T}Bg_{k}$

对于 $\tau$ 来说是单调递减的，所以 $\tau$ 也应该取它所能取到的最大值1。

对于柯西点我们需要注意的是：

a. ${p_{k}}^{c} = \tau {p_{k}}^{s}$ j即使没有抵达信任域边界，它也不是整步。因为整步的方向是模型函数的牛顿方向方向，而柯西点的方向是目标函数梯度的负方向。

b.当 $\tau$ 小于1时，意味着在这个位置——信任域以内的位置，它已经在目标函数梯度负方向的反方向上已经抵达最小值。

下一节将介绍求解 $p_{k}$ 的近似解的狗腿方法（Dog Leg Method）。

如有觉得上面有错误，或者有疑问，请评论，我们一起探讨。Thanks for your patience! :)