漫步最优化三十七——共轭梯度法

最新推荐文章于 2024-01-07 02:10:04 发布

会敲键盘的猩猩

最新推荐文章于 2024-01-07 02:10:04 发布

阅读量2.9k

点赞数 3

分类专栏：漫步最优化文章标签：共轭梯度

漫步最优化专栏收录该内容

44 篇文章

订阅专栏

本文深入探讨了共轭梯度法的基本原理及其数学表述，包括算法的具体步骤、收敛性证明以及与最速下降法的区别。同时介绍了该方法在解决凸二次问题上的优势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

我卸不下对你的喜欢， $\textbf{我卸不下对你的喜欢，}$

因为爱会慢慢增加重量。 $\textbf{因为爱会慢慢增加重量。}$

我醉心于你的发香， $\textbf{我醉心于你的发香，}$

因为它让回想有了画面感。 $\textbf{因为它让回想有了画面感。}$

在虚拟的土壤与 $\textbf{在虚拟的土壤与}$

真实的肉体上， $\textbf{真实的肉体上，}$

文字与真心蔓延滋长了 $\textbf{文字与真心蔓延滋长了}$

我们的感情。 $\textbf{我们的感情。}$

脑海储存着幸福， $\textbf{脑海储存着幸福，}$

不断放送着你可爱的模样。 $\textbf{不断放送着你可爱的模样。}$

——畅宝宝的傻逼哥哥 $\qquad\textbf{——畅宝宝的傻逼哥哥}$
Hestenes与Stiefel提出了一种生成共轭方向的有效方法，就是共轭梯度法。该方法中，每次迭代生成方向，当迭代第

k+1 $k+1$ 次时，用前一个方向

dk $\mathbf{d}_k$ 生成新的点

xk+1 $\mathbf{x}_{k+1}$ ，然后

βdk $\beta\mathbf{d}_k$ 加上

−gk+1 $-\mathbf{g}_{k+1}$ (新点处的负梯度)生成新的方向

dk+1 $\mathbf{d}_{k+1}$ 。

共轭方向法基于下面的定理，除了定义生成共轭方向的方法外，其余都与上篇文章的定理1一样。

$\textbf{定理1：}$ (a)如果 $\mathbf{H}$ 是正定矩阵，那么对任意初始点 $\mathbf{x}_0$ 与初始方向

d 0 = - g 0 = - (b + H x 0)

$\mathbf{d}_0=-\mathbf{g}_0=-(\mathbf{b}+\mathbf{Hx}_0)$
由递推关系

x k + 1 = x k + α k d k (1)

$\begin{equation} \mathbf{x}_{k+1}=\mathbf{x}_k+\alpha_k\mathbf{d}_k\tag1 \end{equation}$

生成的序列收敛到唯一解 $\mathbf{x}^*$ ，其中

α k g d k + 1 β k = - g T k d k d T k H d k = b + H x k = - g k + 1 + β k d k = g T k + 1 H d k d T k H d k (2) (3) (4) (5)

$\begin{align} \alpha_k&=-\frac{\mathbf{g}_k^T\mathbf{d}_k}{\mathbf{d}_k^T\mathbf{H}\mathbf{d}_k}\tag2\\ \mathbf{g}&=\mathbf{b}+\mathbf{Hx}_k\tag3\\ \mathbf{d}_{k+1}&=-\mathbf{g}_{k+1}+\beta_k\mathbf{d}_k\tag4\\ \beta_k&=\frac{\mathbf{g}_{k+1}^T\mathbf{Hd}_k}{\mathbf{d}}_k^T\mathbf{Hd}_k\tag5 \end{align}$

(b)梯度 $\mathbf{g}_k$ 与 $\{\mathbf{g}_0,\mathbf{g}_1,\ldots,\mathbf{g}_{k-1}\}$ 正交，即

g T k g i = 0 f o r 0 \leq i < k

$\mathbf{g}_k^T\mathbf{g}_i=0\quad for\ 0\leq i<k$

$\textbf{证明：}$ 收敛性的证明与上篇文章的定理1一样，所以还需要证明的就是方向 $\mathbf{d}_0,\mathbf{d}_1,\ldots,\mathbf{d}_{n-1}$ 组成一个共轭集合，即

d T k H d i = 0 for 0 \leq i < k and 1 \leq k \leq n

$\mathbf{d}_k^T\mathbf{Hd}_i=0\quad\text{for}\quad 0\leq i<k\ \text{and}\ 1\leq k\leq n$

接下来我们用归纳法进行证明。假设

d T k H d i = 0 for 0 \leq i < k (6)

$\begin{equation} \mathbf{d}_k^T\mathbf{Hd}_i=0\quad\text{for}\quad 0\leq i<k\tag6 \end{equation}$

我们需要说明

d T k + 1 H d i = 0 for 0 \leq i < k + 1

$\mathbf{d}_{k+1}^T\mathbf{Hd}_i=0\quad\text{for}\quad 0\leq i<k+1$

令 $S(\mathbf{v}_0,\mathbf{v}_1,\ldots,\mathbf{v}_k)$ 是向量 $\mathbf{v}_0,\mathbf{v}_1,\ldots,\mathbf{v}_k$ 生成的子空间，因为

g k + 1 = g k + α k H d k (7)

$\begin{equation} \mathbf{g}_{k+1}=\mathbf{g}_k+\alpha_k\mathbf{Hd}_k\tag7 \end{equation}$

故当 $k=0$ 时，我们有

g 1 = g 0 + α 0 H d 0 = g 0 - α 0 H g 0

$\mathbf{g}_1=\mathbf{g}_0+\alpha_0\mathbf{Hd}_0=\mathbf{g}_0-\alpha_0\mathbf{Hg}_0$

因为 $\mathbf{d}_0=-\mathbf{g}_0$ 。另外，由等式4可得

d 1 = - g 1 + β 0 d 0 = - (1 + β 0) g 0 + α 0 H g 0

$\mathbf{d}_1=-\mathbf{g}_1+\beta_0\mathbf{d}_0=-(1+\beta_0)\mathbf{g}_0+\alpha_0\mathbf{Hg}_0$

即 $\mathbf{g}_1,\mathbf{d}_1$ 是 $\mathbf{g}_0,\mathbf{Hg}_0$ 的线性组合，所以

S (g 0, g 1) = S (d 0, d 1) = S (g 0, H g 0)

$S(\mathbf{g}_0,\mathbf{g}_1)=S(\mathbf{d}_0,\mathbf{d}_1)=S(\mathbf{g}_0,\mathbf{Hg}_0)$

同样地，对于 $k=2$ 我们有

g 2 = d 2 = g 0 - [α 0 + α 1 (1 + β 0)] H g 0 + α 0 α 1 H 2 g 0 - [1 + (1 + β 0) β 1] g 0 + [α 0 + α 1 (1 + β 0) + α 0 β 1] H g 0 - α 0 α 1 H 2 g 0

$\begin{align*} \mathbf{g}_2= &\mathbf{g}_0-[\alpha_0+\alpha_1(1+\beta_0)]\mathbf{Hg}_0+\alpha_0\alpha_1\mathbf{H}^2\mathbf{g}_0\\ \mathbf{d}_2= &-[1+(1+\beta_0)\beta_1]\mathbf{g}_0+[\alpha_0+\alpha_1(1+\beta_0)+\alpha_0\beta_1]\mathbf{Hg}_0\\ &-\alpha_0\alpha_1\mathbf{H}^2\mathbf{g}_0 \end{align*}$

因此

S (g 0, g 1, g 2) S (d 0, d 1, d 2) = S (g 0, H g 0, H 2 g 0) = S (g 0, H g 0, H 2 g 0)

$\begin{align*} S(\mathbf{g}_0,\mathbf{g}_1,\mathbf{g}_2) &=S(\mathbf{g}_0,\mathbf{Hg}_0,\mathbf{H}^2\mathbf{g}_0)\\ S(\mathbf{d}_0,\mathbf{d}_1,\mathbf{d}_2) &=S(\mathbf{g}_0,\mathbf{Hg}_0,\mathbf{H}^2\mathbf{g}_0) \end{align*}$

继续用归纳法，我们可以得到

S (g 0, g 1, \dots, g k) S (d 0, d 1, \dots, d k) = S (g 0, H g 0, \dots, H k g 0) = S (g 0, H g 0, \dots, H k g 0) (8) (9)

$\begin{align} S(\mathbf{g}_0,\mathbf{g}_1,\ldots,\mathbf{g}_k) &=S(\mathbf{g}_0,\mathbf{Hg}_0,\ldots,\mathbf{H}^k\mathbf{g}_0)\tag8\\ S(\mathbf{d}_0,\mathbf{d}_1,\ldots,\mathbf{d}_k) &=S(\mathbf{g}_0,\mathbf{Hg}_0,\ldots,\mathbf{H}^k\mathbf{g}_0)\tag9 \end{align}$

现在根据等式4可得

d T k + 1 H d i = - g T k + 1 H d i + β k d T k H d i (10)

$\begin{equation} \mathbf{d}_{k+1}^T\mathbf{Hd}_i=-\mathbf{g}_{k+1}^T\mathbf{Hd}_i+\beta_k\mathbf{d}_k^T\mathbf{Hd}_i\tag{10} \end{equation}$

当 $i=k$ 时，等式5得出

d T k + 1 H d k = - g T k + 1 H d k + β k d T k H d k = 0 (11)

$\begin{equation} \mathbf{d}_{k+1}^T\mathbf{Hd}_k=-\mathbf{g}_{k+1}^T\mathbf{Hd}_k+\beta_k\mathbf{d}_k^T\mathbf{Hd}_k=0\tag{11} \end{equation}$

当 $i<k$ 时，等式9表明

H d i \in S (d 0, d 1, \dots, d k)

$\mathbf{Hd}_i\in S(\mathbf{d}_0,\mathbf{d}_1,\ldots,\mathbf{d}_k)$

所以 $\mathbf{Hd}_i$ 可以用线性组合

H d i = \sum i = 1 k a i d i (12)

$\begin{equation} \mathbf{Hd}_i=\sum_{i=1}^ka_i\mathbf{d}_i\tag{12} \end{equation}$

来表示，其中 $\alpha_i,i=0,1,\ldots,k$ 是常数。接下来根据等式10与等式12

d T k + 1 H d i = - \sum i = 0 k a i g T k + 1 d i + β k d T k H d i = 0 for i < k (13) (14)

$\begin{align} \mathbf{d}_{k+1}^T\mathbf{Hd}_i &=-\sum_{i=0}^ka_i\mathbf{g}_{k+1}^T\mathbf{d}_i+\beta_k\mathbf{d}_k^T\mathbf{Hd}_i\notag\tag{13}\\ &=0\quad\text{for}\ i<k\tag{14} \end{align}$

根据上篇文章定理2第一部分的正交性，上式的第一项等于零，而根据假设等式6可知，上式第二项等于零。结合等式11与13我们有

d T k + 1 H d i = 0 for 0 \leq i < k + 1 (15)

$\begin{equation} \mathbf{d}_{k+1}^T\mathbf{Hd}_i=0\quad\text{for}\ 0\leq i<k+1\tag{15} \end{equation}$

对于 $k=0$ ，等式14得出

d T 1 H d i = 0 for 0 \leq i < 1

$\mathbf{d}_1^T\mathbf{Hd}_i=0\quad\text{for}\ 0\leq i<1$

且根据等式6与14，我们得出

d T 2 H d i d T 3 H d i ⋮ d T k H d i = 0 for 0 \leq i < 2 = 0 for 0 \leq i < 3 ⋮ = 0 for 0 \leq i < k

$\begin{align*} \mathbf{d}_2^T\mathbf{Hd}_i&=0\quad\text{for}\ 0\leq i<2\\ \mathbf{d}_3^T\mathbf{Hd}_i&=0\quad\text{for}\ 0\leq i<3\\ \vdots&\qquad\qquad\qquad\vdots\\ \mathbf{d}_k^T\mathbf{Hd}_i&=0\quad\text{for}\ 0\leq i<k \end{align*}$

(b)根据等式8与9可知， $\mathbf{g}_0,\mathbf{g}_1,\ldots,\mathbf{g}_k$ 生成的子空间与 $\mathbf{d}_0,\mathbf{d}_1,\ldots,\mathbf{d}_k$ 是一样的，因此他们是线性无关的，由此可得

g i = \sum j = 0 i a j d j

$\mathbf{g}_i=\sum_{j=0}^ia_j\mathbf{d}_j$

其中 $a_j$ 是常数， $j=0,1,\ldots,i$ 。根据上篇文章的定理2可知

g T k g i = \sum j = 0 i a j g T k d j = 0 for 0 \leq i < k

$\mathbf{g}_k^T\mathbf{g}_i=\sum_{j=0}^ia_j\mathbf{g}_k^Td_j=0\quad\text{for}\ 0\leq i<k$

上面定理中 $\alpha_k,\beta_k$ 的表达式可以进一步化简，根据等式4可得

- g T k d k = g T k g k - β k - 1 g T k d k - 1

$-\mathbf{g}_k^T\mathbf{d}_k=\mathbf{g}_k^T\mathbf{g}_k-\beta_{k-1}\mathbf{g}_k^T\mathbf{d}_{k-1}$

其中根据上篇文章的定理2可知

g T k d k - 1 = 0

$\mathbf{g}_k^T\mathbf{d}_{k-1}=0$

故

- g T k d k = g T k g k

$-\mathbf{g}_k^T\mathbf{d}_k=\mathbf{g}_k^T\mathbf{g}_k$

所以等式2的 $\alpha$ 表达式可以改成

α k = g T k g k d T k H d k (16)

$\begin{equation} \alpha_k=\frac{\mathbf{g}_k^T\mathbf{g}_k}{\mathbf{d}_k^T\mathbf{H}\mathbf{d}_k}\tag{16} \end{equation}$

另一方面，因为

H d k = 1 α k (g k + 1 - g k)

$\mathbf{Hd}_k=\frac{1}{\alpha_k}(\mathbf{g}_{k+1}-\mathbf{g}_k)$

所以

g T k + 1 H d k = 1 α k (g T k + 1 g k + 1 - g T k + 1 g k) (17)

$\begin{equation} \mathbf{g}_{k+1}^T\mathbf{Hd}_k=\frac{1}{\alpha_k}(\mathbf{g}_{k+1}^T\mathbf{g}_{k+1}-\mathbf{g}_{k+1}^T\mathbf{g}_k)\tag{17} \end{equation}$

接下来根据等式8与9可得

g k \in S (d 0, d 1, \dots, d k)

$\mathbf{g}_k\in S(\mathbf{d}_0,\mathbf{d}_1,\ldots,\mathbf{d}_k)$

或者

g k = \sum i = 0 k a i d i

$\mathbf{g}_k=\sum_{i=0}^ka_i\mathbf{d}_i$

又因为

g T k + 1 g k = \sum i = 0 k a i g T k + 1 d i = 0 (18)

$\begin{equation} \mathbf{g}_{k+1}^T\mathbf{g}_k=\sum_{i=0}^ka_i\mathbf{g}_{k+1}^T\mathbf{d}_i=0\tag{18} \end{equation}$

所以等式5,15,16与17得到

β k = g T k + 1 g k + 1 g T k g k

$\beta_k=\frac{\mathbf{g}_{k+1}^T\mathbf{g}_{k+1}}{\mathbf{g}_{k}^T\mathbf{g}_{k}}$

上面的原则与定理得到了下面的算法：

算 法 1 ： 共 轭 梯 度 算 法 步 骤 1 输 入 x 0 并 初 始 化 容 忍 误 差 ε 步 骤 2 计 算 g 0 并 令 d 0 = - g 0, k = 0 步 骤 3 输 入 H k, 即 x k 处 的 海 森 矩 阵 计 算 α k = g T k g k d T k H k d k 令 x k + 1 = x k + α k d k 并 计 算 f k + 1 = f (x k + 1) 步 骤 4 如 果 ∥ α k d k ∥ < ε, 输 出 x * = x k + 1, f (x *) = f k + 1 算 法 结 束 步 骤 5 计 算 g k + 1 计 算 β k = g T k + 1 g k + 1 g T k g k 生 成 新 的 方 向 d k + 1 = - g k + 1 + β k d k 令 k = k + 1 然 后 回 到 步 骤 3

$\begin{align*} &\textbf{算法1：共轭梯度算法}\\ &\textbf{步骤1}\\ &\text{输入}\mathbf{x}_0\text{并初始化容忍误差}\varepsilon\\ &\textbf{步骤2}\\ &\text{计算}\mathbf{g}_0\text{并令}\mathbf{d}_0=-\mathbf{g}_0,k=0\\ &\textbf{步骤3}\\ &\text{输入}\mathbf{H}_k,\text{即}\mathbf{x}_k\text{处的海森矩阵}\\ &\text{计算}\\ &\alpha_k=\frac{\mathbf{g}_k^T\mathbf{g}_k}{\mathbf{d}_k^T\mathbf{H}_k\mathbf{d}_k}\\ &\text{令}\mathbf{x}_{k+1}=\mathbf{x}_k+\alpha_k\mathbf{d}_k\text{并计算}f_{k+1}=f(\mathbf{x}_{k+1})\\ &\textbf{步骤4}\\ &\text{如果}\lVert\alpha_k\mathbf{d}_k\rVert<\varepsilon,\text{输出}\mathbf{x}^*=\mathbf{x}_{k+1},f(\mathbf{x}^*)=f_{k+1}\text{算法结束}\\ &\textbf{步骤5}\\ &\text{计算}\mathbf{g}_{k+1}\\ &\text{计算}\\ &\beta_k=\frac{\mathbf{g}_{k+1}^T\mathbf{g}_{k+1}}{\mathbf{g}_k^T\mathbf{g}_k}\\ &\text{生成新的方向}\\ &\mathbf{d}_{k+1}=-\mathbf{g}_{k+1}+\beta_k\mathbf{d}_k\\ &\text{令}k=k+1\text{然后回到步骤3} \end{align*}$

对于二维凸二次问题，上述算法得到的解的轨迹如图1所示，注意 $\mathbf{x}_1=\mathbf{x}_0-\alpha_0\mathbf{g}_0$ ，其中 $\alpha_0$ 是最小化 $f(\mathbf{x}_0-\alpha\mathbf{g}_0)$ 的 $\alpha$ 值，与最速下降法一样。