BFGS

BFGS

step 1.

根据泰勒公式，省略掉高阶项：

$f(x) \approx f(x_{k+1}) + \nabla f(x_{k+1}) \cdot (x- x_{k+1}) + \frac{1}{2} \cdot (x-x_{k+1})^T \cdot \nabla^2f(x_{k+1})\cdot(x-x_{k+1})$

再两边取导数得

$\nabla f(x)=\nabla f(x+1) +H_{k+1} (x-x_{k+1})$

此时，取$x=x_k$，并设$\nabla f(x_k)=g_k,\nabla^2f(x_k)=H_k$

有$g_{k+1}-g_k=H_{k+1} \cdot(x_{k+1}-x_k)$，设$g_{k+1}-g_k=y_k$,$x_{k+1}-x_k=S_k$

则有

$$y_k = H_{k+1} \cdot S_k \tag{1}$$

step 2.

用$B_k$表示海森矩阵$H_k$的近似，用$D_k$表示$H_k^-1$(海森矩阵的逆)的近似

$B_{k+1}=B_k +\Delta B_k$

设$\nabla B_k=\alpha \boldsymbol{u u^T} + \beta \boldsymbol{v v^T}$ ,其中$\boldsymbol{u}$和$\boldsymbol{v}$是n维向量

又由(1)得 $y_k = B_{k+1} \cdot S_k$

所以

$y_k=B_k\cdot S_k +\alpha \boldsymbol{u u^T} S_k +\beta \boldsymbol{v v^T} S_k$

$y_k=B_k\cdot S_k +\alpha \boldsymbol{ u^T} S_k \boldsymbol{u} +\beta \boldsymbol{v^T} S_k \boldsymbol{v}$ (之所以能这么换位置，是因为$\boldsymbol{u^T}S_k$是一个数，而不是一个矩阵或向量)

令

$$\begin{cases} \alpha \boldsymbol{u^T}S_k=1 \\ \beta \boldsymbol{v^T}S_k=1 \\ \left. \begin{array} \boldsymbol{u}=y_k\\ \boldsymbol{v}=B_kS_k \\ \end{array} \right\} 这样设是为了将B_{k+1}能用y_k和S_k表示 \end{cases}$$

可以解得

$$\alpha=\frac{1}{y_k^TS_k}$$

$$\beta=\frac{-1}{v^T S_k}=\frac{-1}{S_k^TB_k^TS_k}$$

所以

$$\Delta B_k = \frac{y_k y_k^T}{y_k^T S_k} -\frac{B_k S_k S_k^T B_K^T}{S_K^T B_K^T S_k} \tag{2}$$

后面转自：

作者: peghoty

出处: http://blog.youkuaiyun.com/itplus/article/details/21897443

L-BFGS

所谓L-BFGS是对BFGS进行了空间优化：
这是由于向量维数n到达了一定数量级，$n \times n$的矩阵需要相当大的内存。

L-BFGS算法并没有直接存储整个矩阵，而是在需要用到时，根据若干个n维向量来计算。

由于计算的结果需要用到之前每一次迭代/循环中的结果， L-BFGS算法只保存了最近的m次迭代的结果，所以L-BFGS算法又做了近似。