凸优化第九章无约束优化 9.2 下降方法

最新推荐文章于 2021-12-24 10:15:42 发布

使君杭千秋

最新推荐文章于 2021-12-24 10:15:42 发布

阅读量454

点赞数 1

分类专栏：凸优化

原文链接：https://blog.youkuaiyun.com/wangchy29/article/details/87966604

版权

凸优化专栏收录该内容

62 篇文章

订阅专栏

9.2 下降方法

下降方法将产生一个优化点列 $x^{(k)},k=1,\cdots,$ 其中 $x^{(k+1)}=x^{(k)}+t^{(k)}\bigtriangleup x^{(k)}$ ，且 $t^{(K)}>0,f(x^{(k+1)})<f(x^{(k)})$ 。 $\bigtriangleup x$ 是一个向量表示步径或搜索方向。标量 $t^{(k)}\geq 0$ 被称为第k次迭代的步长。

方法的思想：只有 $x^{(k)}$ 不是最优解，就找一个比 $x^{(k)}$ 更好的点。

由目标函数凸性可知（一阶特征） $\bigtriangledown f(x^{(k)})^T(y-x^{(k)})\geq 0$ ，可知 $y \geq x^{(k)}$ 时， $\bigtriangledown f(x^{(k)})^T\geq 0$ ，于是可知 $f(y)\geq f(x^{(k)})$ ，而在下降方法中显然 $y \geq x^{(k)}$ ，而且要求 $f(y)\leq f(x^{(k)})$ ，故下降方法中的搜索方向必须满足 $\bigtriangledown f(x^{(k)})^T(y-x^{(k)})=\bigtriangledown f(x^{(k)})^T\bigtriangleup x^{(k)}<0$ ，即它和负梯度放心的夹角必须是锐角。这样的方向为下降方向。

下降方法：确定下降方向 $\bigtriangleupx$ $\bigtriangleup x$ ，然后选择步长t，其一般框架如下：

给定初始点 $x \in dom(f)$

重复执行

确定下降方向 $\bigtriangleup x$
直线搜索：选择步长
修改： $x:=x+t\bigtriangleup x$

直到终止条件被满足

搜索方法类型

精确直线搜索

通过沿着射线 $\left \{ x+t\bigtrangleup x |t\geq 0\right \}$ 优化f而确定t值：

$t = argmin_{s \geq 0}f(x+t\bigtriangleup x)$

如果此问题的求解成本低于计算搜索方向的成本，则问比较适合用精确直线搜索。

回溯直线搜索

一种非精确直线搜索方法：沿着射线 $\left \{ x+t\bigtrangleup x |t\geq 0\right \}$ 近似优化f而确定t值，即只有f有“足够的”的减少即可

算法：

给定f在 $x \in dom(f)$ 处的下降方向 $\bigtriangleup x$ ，参数 $\alpha \in(0,0.5),\belta \in (0,1)$
t:=1
如果 $f(x +t \bigtrianglqup x)>f(x)+\alpha t \bigtriangledown f(x)^T\bigtriangleup x$ ，令 $t:=\beta t$