【最优化】共轭梯度法

共轭向量及其性质

• A是$n\times n$的对称正定矩阵，对于方向$d^{(0)},d^{(1)},d^{(2)}...d^{(m)}$，如果对于所有的$i\ne j$，有$[{\mathbf{d}}^{(\mathbf{i})}{]}^{\mathbf{T}}\mathbf{A}{\mathbf{d}}^{(\mathbf{j})}=0$​，则称它们是关于A是共轭的
• 假设A是$n\times n$的对称正定矩阵，向量组$d^{(0)},d^{(1)},d^{(2)}...d^{(m)}$关于矩阵A共轭，则该向量组线性无关
  $$\begin{array}{rl}证明：& 如果d^{(0)},d^{(1)},d^{(2)}...d^{(m)}线性相关,\\ & 则有{\alpha }_1{d}^{(0)}+{\alpha }_2{d}^{(1)}+{\alpha }_3{d}^{(2)}+...+{\alpha }_m{d}^{(m)}=0\\ & 两边同乘[d^{(j)}{]}^{T}A,得{\alpha }_j[d^{(j)}{]}^T{d}^{(j)}=0,由于d^{(j)}\ne 0,所以{\alpha }_j=0\\ & 因此d^{(0)},d^{(1)},d^{(2)}...d^{(m)}线性无关\end{array}$$
• 假设A是$n\times n$的对称正定矩阵，关于矩阵A共轭的向量至多有个（A最多有n个基，所以最多只有n个线性无关的向量）

共轭方向法的基本原理

$\begin{array}{rl}& 假设优化函数为minf(x)=\frac{1}{2}{x}^{T}Hx+x^{T}b+a\\ & f在x^{(k)}出的梯度向量为g(x^{(k)})=H{x}^{(k)}+b(梯度就是广义一阶导)\\ & f在x^{(k)}出的Hesse矩阵为h(x^k)=H\end{array}$

如果向量$d^{(0)},d^{(1)},d^{(2)}...d^{(n-1)}$关于H共轭，则这些向量线性无关，进而它们可以构成n维空间的一组基

$x^{\ast }$为最后找大的最优值, $x^{\ast }-x^{(0)}$任在n维空间内

$因此,x^{\ast }-x^{(0)}={\sum }_{i=0}^{n-1}{\alpha }^{(i)}{d}^{(i)}⟹x^{\ast }=x^{(0)}+{\sum }_{i=0}^{n-1}{\alpha }^{(i)}{d}^{(i)}$
给定一个初始值 $x^{(0)}$, 如果对于共轭向量 $d^{(0)},d^{(1)},d^{(2)}...d^{(n-1)}$, 如果知道了每一步的移动步长 ${\alpha }^{(i)}$， 便可以获取最优值$x$
$$\begin{gathered} x^{\ast }-x^{(0)}=\sum _{i=0}^{n-1}{\alpha }^{(i)}{d}^{(i)} \\ [d^{(k)}{]}^{T}H[x^{\ast }-x^{(0)}]=\sum _{i=0}^{n-1}[d^{(k)}{]}^{T}H{\alpha }^{(i)}{d}^{(i)}={\alpha }^{(k)}[d^{(k)}{]}^{T}H{d}^{(k)} \\ {\alpha }^{(k)}=\frac{[d^{(k)}{]}^{T}H[x^{\ast }-x^{(0)}]}{[d^{(k)}{]}^{T}H{d}^{(k)}} \end{gathered}$$
$x^{\ast }$是需要求解的最小值，因此需要引入通用公式 $x^{(k)}=x(0)+{\sum }_{i=0}^{k-1}{\alpha }^{(i)}{d}^{(i)}$ 去掉$x^{\ast }$
$$\begin{gathered} x^{(k)}=x(0)+\sum _{i=0}^{k-1}{\alpha }^{(i)}{d}^{(i)} \\ [d^{(k)}{]}^{T}H[x^k-x^{(0)}]=\sum _{i=0}^{k-1}[d^{(k)}{]}^{T}H{\alpha }^{(i)}{d}^{(i)}=0 \\ [d^{(k)}{]}^{T}H[x^k]=[d^{(k)}{]}^{T}H[x^{(0)}] \\ {\alpha }^{(k)}=\frac{[d^{(k)}{]}^{T}H[x^{\ast }-x^{(0)}]}{[d^{(k)}{]}^{T}H{d}^{(k)}}⟹{\alpha }^{(k)}=\frac{[d^{(k)}{]}^{T}H[x^{\ast }-x^{(k)}]}{[d^{(k)}{]}^{T}H{d}^{(k)}} \end{gathered}$$
$f在x^{(k)}出的梯度向量为g(x^{(k)})=H{x}^{(k)}+b$

$在x^{(k)}出的Hesse矩阵为h(x^k)=H$
$$\begin{gathered} H[x^{\ast }-x^{(k)}]=[g(x^{\ast })+b]-[g(x^k)+b]=g(x^{\ast })-g(x^k) \\ 由于极小值处的梯度为0，所以g(x^{\ast })=0 \\ H[x^{\ast }-x^{(k)}]=-g(x^k) \\ {\alpha }^{(k)}=\frac{[d^{(k)}{]}^{T}H[x^{\ast }-x^{(k)}]}{[d^{(k)}{]}^{T}H{d}^{(k)}}⟹{\alpha }^{(k)}=-\frac{[d^{(k)}{]}^{T}g(x^{(k)})}{[d^{(k)}{]}^{T}H{d}^{(k)}} \end{gathered}$$

扩张子空间定理

$$\begin{gathered} 对所有的k有g^{(k+1)}{d}^{(k)}=0⟹f(x^{(k+1)})=\underset{\alpha }{\min }f(x^{(k)}+\alpha d^{(k)}) \\ 对所有的k,有g^{(k+1)}{d}^{(i)}=0(0\le k\le n-1,0\le i\le k)⟹f(x^{(k+1)})=\underset{{\alpha }^{(0)},...,{\alpha }^{(k)}}{\min }f(x^{(0)}+\sum _{i=0}^k{\alpha }^{(i)}{d}^{(k)}) \end{gathered}$$
也就是说，每一步的更新都会找到当前方向上的最小值

$$\begin{gathered} f(x^{(k+1)})=\underset{{\alpha }^{(0)},...,{\alpha }^{(k)}}{\min }f(x^{(0)}+\sum _{i=0}^k{\alpha }^{(i)}{d}^{(k)}) \\ 记V_k=x^{(0)}+span[d^{(0)},d^{(1)},...,d^{(k)}] \end{gathered}$$
$f(k^{(k+1)})=\underset{x\in V_k}{\min }f(x)$ 随着$k$的增大，子空间 $span[d^{(0)},d^{(1)},...,d^{(k)}]$ 不断“扩张”，直到充满整个 $R^n$。 当 $k$ 足够大时， $x^{\ast }$ 将位于 $V_k$ 中，这便是扩张子空间定理

共轭梯度法

$$minf(x)=\frac{1}{2}{X}^{T}Hx+x^{T}b+a$$

1. 令$k=0$，选择初始值 $x^{(0)}$

2. 计算 $g^{(0)}=\nabla f(x^{(0)})$， 如果 $g^{(0)}=0$，停止迭代；否则令 $d^{(0)}=-g^{(0)}$​

3. 计算 ${\alpha }^{(k)}=-\frac{[d^{(k)}{]}^{T}g(x^{(k)})}{[d^{(k)}{]}^{T}H{d}^{(k)})}$

4. 计算 $x^{(k+1)}=x^{(k)}+{\alpha }^{(k)}{d}^{(k)}$

5. 计算 $g^{(k+1)}$=$\nabla f(x^{(k+1)})$，如果 $g^{(k+1)}=0$, 停止迭代

6. 计算 ${\beta }^{(k)}=\frac{[g(x^{(k+1)}){]}^{T}H{d}^{(k)}}{[d^{(k)}{]}^{T}H{d}^{(k)}}$ (通过 $\beta$ 求取共轭方向)

7. 计算 $d^{(k+1)}=-g^{(k+1)}+{\beta }^{(k)}{d}^{(k)}$

8. 令 $k=k+1$，回到第3步

非二次型问题中的共轭梯度法

在非二次型问题中Hess矩阵会不断变化，如何去除H？

1. 令$k=0$，选择初始值 $x^{(0)}$

2. 计算 $g^{(0)}=\nabla f(x^{(0)})$， 如果 $g^{(0)}=0$，停止迭代；否则令 $d^{(0)}=-g^{(0)}$​

3. 计算 ${\alpha }^{(k)}=-\frac{[d^{(k)}{]}^{T}g(x^{(k)})}{[d^{(k)}{]}^{T}H{d}^{(k)})}⟹f(x^{(k+1)})=\underset{\alpha }{\min }f(x^{(k)}+\alpha d^{(k)})⟹{\alpha }^{(k)}可以通过一维精度搜索获取$

4. 计算 $x^{(k+1)}=x^{(k)}+{\alpha }^{(k)}{d}^{(k)}$

5. 计算 $g^{(k+1)}$=$\nabla f(x^{(k+1)})$，如果 $g^{(k+1)}=0$, 停止迭代

6. 计算${\beta }^{(k)}=\frac{[g^{(k+1)}{]}^T[g^{(k+1)}]}{[g^{(k)}{]}^T{g}^{(k)}}$
   $$\begin{array}{rl}& {\beta }^{(k)}=\frac{[g(x^{(k+1)}){]}^{T}H{d}^{(k)}}{[d^{(k)}{]}^{T}H{d}^{(k)}}\\ & x^{(k+1)}=x^{(k)}+{\alpha }^{(k)}{d}^{(k)}⟹H{x}^{(k+1)}-b=H(x^{(k)}+{\alpha }^{(k)}{d}^{(k)})-b\\ & g^{(k+1)}=g^{(k)}+{\alpha }^{(k)}H{d}^{(k)}⟹H{d}^{(k)}=\frac{g^{(k+1)}-g^{(k)}}{{\alpha }^{(k)}}⟹{\beta }^{(k)}=\frac{[g(x^{(k+1)}){]}^T[g^{(k+1)}-g^{(k)}]}{[d^{(k)}{]}^T[g^{(k+1)}-g^{(k)}]}\\ & d^{(k)}=-g^{(k)}+{\beta }^{(k-1)}{d}^{(k-1)}⟹[g^{(k)}{]}^T{d}^{(k)}=-[g^{(k)}{]}^T{g}^{(k)}+{\beta }^{(k-1)}[g^{(k)}{]}^T{d}^{(k-1)}\\ & [g^{(k)}{]}^T{d}^{(k)}=-[g^{(k)}{]}^T{g}^{(k)}([g^{(k)}{]}^T{d}^{(k-1)}=0)⟹{\beta }^{(k)}=\frac{[g(x^{(k+1)}){]}^T[g^{(k+1)}-g^{(k)}]}{[g^{(k)}{]}^T{g}^{(k)}}\\ & d^{(k)}=-g^{(k)}+{\beta }^{(k-1)}{d}^{(k-1)}⟹[g^{(k+1)}{]}^T{d}^{(k)}=-[g^{(k+1)}{]}^T{g}^{(k)}+{\beta }^{(k-1)}[g^{(k+1)}{]}^T{d}^{(k-1)}\\ & -[g^{(k+1)}{]}^T{g}^{(k)}=0⟹{\beta }^{(k)}=\frac{[g^{(k+1)}{]}^T[g^{(k+1)}]}{[g^{(k)}{]}^T{g}^{(k)}}\end{array}$$

7. 计算 $d^{(k+1)}=-g^{(k+1)}+{\beta }^{(k)}{d}^{(k)}$

8. 令 $k=k+1$，回到第3步

通常来说，共轭梯度法的收敛速度比最速下降法快，而且不像牛顿法那样需要计算Hess矩阵及其逆矩阵。

但是随着迭代次数的增加，新构造的共轭方向由于误差（由于误差函数不是二次函数造成的）累积会逐渐不精确甚至不下降，可能会出现收敛速度极慢的现象。为了避免这样的现象发生，一种有效的方法是每迭代n次就让系数 $\beta =0$，再次开始从最速下方向开始迭代。