牛顿法和拟牛顿法

牛顿法和拟牛顿法

跟最速下降法一样, 牛顿法也是求解无约束优化问题最早使用的经典算法之一. 其基本思想是用迭代点$x_k$处的一阶导数 (梯度) 和二阶导数 (Hesse阵) 对目标函数进行二次函数近似, 然后把二次模型的极小点作为新的迭代点, 并不断重复这一过程, 直至求得满足精度的近似极小点
无约束最优化问题
$$\underset{x\in {\mathbf{R}}^n}{\min }f(x)$$牛顿法迭代公式推导
设 $f(x)$ 的 Hesse 阵$G(x)={\nabla }^{2}f(x)$ 连续, 其在$x_k$处的泰勒展开式的前三项:$$f(x)=f_k+g_k^T\left(x-x_k\right)+\frac{1}{2}{\left(x-x_k\right)}^T{G}_k\left(x-x_k\right)$$这里$f_k=f\left(x_k\right),g_k=\nabla f\left(x_k\right),G_k={\nabla }^{2}f\left(x_k\right)={\left[\frac{{\partial }^{2}f}{\partial x_i\partial x_j}\right]}_{\mathrm{n}\times \mathrm{n}}$
由函数$f$有极值的必要条件是在极值点处一阶导数(梯度)为$0$，当Hesse阵是正定矩阵时，有极小值.对$f(x)$求一阶导得$$\nabla f(x)=g_k+G_k\left(x-x_k\right)=0$$ 若$G_k$非奇异，由上式得牛顿法的迭代公式$$x_{k+1}=x_k-G_k^{-1}{g}_k$$每次迭代需求Hesse阵的逆$G_k^{-1}$，实际中可通过先解$G_k{d}_k=-g_k$得$d_k$，然后令$x_{k+1}=x_k+d_k$来避免求逆.
迭代终止：计算$g_k=\nabla f\left(x_k\right)$，若$\Vert g_k\Vert \le \epsilon$，停算输出$x^{\ast }\approx x_k$
拟牛顿法
牛顿法的优点是具有二阶收敛速度，但当Hesse阵$G\left(x_k\right)={\nabla }^{2}f\left(x_k\right)$不正定时,不能保证所产生的方向是目标函数在$x_k$处的下降方向. 特别$G\left(x_k\right)$奇异时，算法无法继续进行下去，尽管修正牛顿法可以克服这一缺陷, 但其中的修正参数${\mu }_k$的选取很难把握, 过大或过小都会影响到收敛速度. 此外, 牛顿法的每一迭代步都需要目标函数的二阶导数, 即 Hesee 阵, 对于大规模问题其计算量是惊人的.
即将介绍的拟牛顿法克服了这些缺点, 并且在一定条件下这类算法仍然 具有较快的收敛速度 — 超线性收敛速度.
拟牛顿法的基本思想是在牛顿法中用某个近似矩阵$B_k$取代Hesee阵$G_k={\nabla }^{2}f\left(x_k\right)$ . 通常$B_k$应具有下面的三个特点
$(1)$ $B_k\approx G_k$, 使相应的算法产生的方向近似于牛顿方向，以确保算法有较快的收敛速度.
$(2)$ 所有的$B_k$是对称正定的，从而使得算法所产生的搜索方向是函数$f$在$x_k$处的下降方向.
$(3)$ 矩阵$B_k$更新规则相对简单，即通常采用一个秩$1$或秩$2$矩阵进行校正.
设$f:{\mathbb{R}}^n\to \mathbb{R}$在开集$D\subset {\mathbb{R}}^n$上二次连续可微， $f$在$x_{k+1}$处二次近似模型为：$$f(x)\approx f\left(x_{k+1}\right)+g_{k+1}^T\left(x-x_{k+1}\right)+\frac{1}{2}{\left(x-x_{k+1}\right)}^T{G}_{k+1}\left(x-x_{k+1}\right)$$对上式求导得 $$g(x)\approx g_{k+1}+G_{k+1}\left(x-x_{k+1}\right)$$令$x=x_k$，位移$s_k=x_{k+1}-x_k$，梯度差$y_k=g_{k+1}-g_k$ ，则有$$G_{k+1}{s}_k\approx y_k(1)$$构造Hesse阵的近似矩阵$B_k$满足这种关系，即
$$B_{k+1}{s}_k=y_k$$上式称作拟牛顿方程或拟牛顿条件，令$H_{k+1}=B_{k+1}^{-1}$，则得到拟牛顿方程的另一形式：$$H_{k+1}{y}_k=s_k(2)$$ 其中$H_{k+1}$是Hesse阵逆的近似.
由牛顿法搜索方向为$d_k=-G_k^{-1}{g}_k$ ，因此拟牛顿法的搜索方向$d_k=-H_k{g}_k$或$B_k{d}_k=-g_k$确定
根据$B_k$的第三个特点，可令$$B_{k+1}=B_k+E_k,H_{k+1}=H_k+D_k(3)$$其中$E_k,D_k$是秩$1$或秩$2$矩阵。
将拟牛顿方程$(1)$和校正规则$(3)$确立的方法称为拟牛顿法

对称秩$1$校正公式，在$(3)$中取$E_k=\alpha u_k{u}_k^T$(秩$1$矩阵性质)，其中$\alpha \in \mathbb{R},u_k\in {\mathbb{R}}^n$由拟牛顿方程$(1)$得 $$\left(B_k+\alpha u_k{u}_k^T\right)s_k=y_k$$即$$\alpha \left(u_k^T{s}_k\right)u_k=y_k-B_k{s}_k(4)$$ $\left(u_k^T{s}_k\right)$计算结果为一常数，因此上式表明向量$u_k$平行于$\left(y_k-B_k{s}_k\right)$，即存在常数$\beta$使得$u_k=\beta \left(y_k-B_k{s}_k\right)$,故有$$E_k=\alpha {\beta }^2\left(y_k-B_k{s}_k\right){\left(y_k-B_k{s}_k\right)}^T$$于是，由$(4)$得 $$\alpha {\beta }^2\left[{\left(y_k-B_k{s}_k\right)}^T{s}_k\right]\left(y_k-B_k{s}_k\right)=\left(y_k-B_k{s}_k\right)$$
若${\left(y_k-B_k{s}_k\right)}^T{s}_k̸=0$，可取$\alpha {\beta }^2\left[{\left(y_k-B_k{s}_k\right)}^T{s}_k\right]=1$，即$$\alpha {\beta }^2=\frac{1}{{\left(y_k-B_k{s}_k\right)}^T{s}_k},E_k=\frac{\left(y_k-B_k{s}_k\right){\left(y_k-B_k{s}_k\right)}^T}{{\left(y_k-B_k{s}_k\right)}^T{s}_k}$$故得称秩$1$校正公式:$$B_{k+1}=B_k+\frac{\left(y_k-B_k{s}_k\right){\left(y_k-B_k{s}_k\right)}^T}{{\left(y_k-B_k{s}_k\right)}^T{s}_k}$$类似可得$$H_{k+1}=H_k+\frac{\left(s_k-H_k{y}_k\right){\left(s_k-H_k{y}_k\right)}^T}{{\left(s_k-H_k{y}_k\right)}^T{y}_k}$$

BFGS算法
其基本思想是：在上节拟牛顿法$(3)$式中修正矩阵$E_k$为秩$2$矩阵：$$E_k=\alpha u_k{u}_k^T+\beta v_k{v}_k^T$$其中$u_k,v_k\in {\mathbb{R}}^n$是待定向量，$\alpha ,\beta \in \mathbb{R}$是待定实数，于是拟牛顿方程$(1)$可得$$\left(B_k+\alpha u_k{u}_k^T+\beta v_k{v}_k^T\right)s_k=y_k$$或$$\alpha \left(u_k^T{s}_k\right)u_k+\beta \left(v_k^T{s}_k\right)v_k=y_k-B_k{s}_k$$满足上式的向量$u_k$和$v_k$不唯一，可取$u_k$和$v_k$分别平行于$B_k{s}_k$和$y_k$，即令$u_k=\gamma B_k{s}_k,v_k=\theta y_k$，其中$\gamma ,\theta$是待定参数，于是我们有 $$E_k=\alpha {\gamma }^2{B}_k{s}_k{s}_k^T{B}_k+\beta {\theta }^2{y}_k{y}_k^T$$将$u_k$和$v_k$的表达式代入$\alpha \left(u_k^T{s}_k\right)u_k+\beta \left(v_k^T{s}_k\right)v_k=y_k-B_k{s}_k$得$$\alpha \left[{\left(\gamma B_k{s}_k\right)}^T{s}_k\right]\left(\gamma B_k{s}_k\right)+\beta \left[{\left(\theta y_k\right)}^T{s}_k\right]\left(\theta y_k\right)=y_k-B_k{s}_k$$整理得$$\left[\alpha {\gamma }^2\left(s_k^T{B}_k{s}_k\right)+1\right]B_k{s}_k+\left[\beta {\theta }^2\left(y_k^{T}s\right)-1\right]y_k=0$$此时可令$\alpha {\gamma }^2\left(s_k^T{B}_k{s}_k\right)+1=0$及$\beta {\theta }^2\left(y_k^{T}s\right)-1=0$，即$$\alpha {\gamma }^2=-\frac{1}{s_k^T{B}_k{s}_k},\beta {\theta }^2=\frac{1}{y_k^T{s}_k}$$从而得到如下得BFGS秩$2$修正公式：$$B_{k+1}=B_k-\frac{B_k{s}_k{s}_k^T{B}_k}{s_k^T{B}_k{s}_k}+\frac{y_k{y}_k^T}{y_k^T{s}_k}$$显然，若$B_k$对称，校正后的$B_{k+1}$也对称。
引理：设$B_k$对称正定，$B_{k+1}$由BFGS校正公式确定，那么$B_{k+1}$对称正定的充要条件是$y_k^T{s}_k>0$

DFP算法
类似于BFGS校正公式的推导，可得DFP校正公式如下
$$H_{k+1}=H_k-\frac{H_k{y}_k{y}_k^T{H}_k}{y_k^T{H}_k{y}_k}+\frac{s_k{s}_k^T}{s_k^T{y}_k}$$显然，若$H_k$对称，校正后的$H_{k+1}$也对称
引理：设$H_k$对称正定，$H_{k+1}$由DFP校正公式确定，那么$H_{k+1}$对称正定的充要条件是$s_k^T{y}_k>0$

Broyden族算法
由BFGS和DFP校正的凸组合产生的一类校正族$$\begin{array}{rl}{B}_{k+1}^{\theta }& ={\theta }_k{B}_{k+1}^{\mathrm{D}\mathrm{F}\mathrm{P}}+\left(1-{\theta }_k\right)B_{k+1}^{\mathrm{B}\mathrm{F}\mathrm{G}\mathrm{S}}\\ & =B_k-\frac{B_k{s}_k{s}_k^T{B}_k}{s_k^T{B}_k{s}_k}+\frac{y_k{y}_k^T}{s_k^T{y}_k}+{\theta }_k{u}_k{u}_k^T\end{array}$$其中，${\theta }_k$为实参数，$u_k$由下式定义：$$u_k=\sqrt{s_k^T{B}_k{s}_k}\left(\frac{y_k}{y_k^T{s}_k}-\frac{B_k{s}_k}{s^T{B}_k{s}_k}\right)$$这类校正公式称为Broyden族，可以发现当${\theta }_k=0$，即得到BFGS公式，当${\theta }_k=1$得到DFP公式
对应地，关于$H_k$的Broyden族校正公式为$$\begin{array}{rl}{H}_{k+1}^{\varphi }& ={\varphi }_k{H}_{k+1}^{\mathrm{B}\mathrm{F}\mathrm{G}\mathrm{S}}+\left(1-{\varphi }_k\right)H_{k+1}^{\mathrm{D}\mathrm{F}\mathrm{P}}\\ & =H_k-\frac{H_k{y}_k{y}_k^T{H}_k}{y_k^T{H}_k{y}_k}+\frac{s_k{s}_k^T}{s_k^T{y}_k}+{\varphi }_k{v}_k{v}_k^T\end{array}$$其中${\varphi }_k$为实参数，$v_k$由下式定义：$$v_k=\sqrt{y_k^T{H}_k{y}_k}\left(\frac{s_k}{y_k^T{s}_k}-\frac{H_k{y}_k}{y_k^T{H}_k{y}_k}\right)$$可以证明参数${\theta }_k$和${\varphi }_k$之间的关系为$${\theta }_k=\frac{1-{\varphi }_k}{1-{\varphi }_k\left(1-{\mu }_k\right)}$$
其中$${\mu }_k=\frac{\left(s_k^T{B}_k{s}_k\right)\left(y_k^T{H}_k{y}_k\right)}{{\left(s_k^T{y}_k\right)}^2}$$
$u_k^T{s}_k=0$和$v_k^T{y}_k=0$,因此Broyden族校正公式于任何参数${\theta }_k$和${\varphi }_k$都满足牛顿方程$(1)$和$(2)$