最优化学习笔记（九）——基本的共轭方向算法

一、基本共轭方向算法

     对于$n$维二次型函数的最小化问题：

$$f(x)=\frac{1}{2}\boldsymbol{x^TQx-x^Tb}$$
其中，$\boldsymbol{Q}=\boldsymbol{Q^T}>0, \boldsymbol{x} \in \mathbb{R^n}$。因为$\boldsymbol{Q}>0$,所以函数$f$有一个全局极小点，可以通过求解$\boldsymbol{Qx=b}$得到。

基本共轭方向算法 给定初始点$\boldsymbol{x^{(0)}}$和一组关于$\boldsymbol{Q}$共轭的方向$\boldsymbol{d^{(0)},d^{(1)}, \dots,d^{(n-1)}}$,迭代公式为($k \ge 0表示迭代次数$)：

$$\boldsymbol{g^{(k)}} = \nabla f(\boldsymbol{x^{(k)}})=\boldsymbol{Qx^{(k)}-b}\\ a_k=-\frac{\boldsymbol{g}^{(k)T}\boldsymbol{d}^{(k)}}{\boldsymbol{d}^{(k)T}\boldsymbol{Qd}^{(k)}}\\ \boldsymbol{x^{(k+1)}}=\boldsymbol{x^{(k)}}+a_k\boldsymbol{d^{(k)}}$$

二、定理及其证明

对于任意初始点$\boldsymbol{x^{(0)}}$，基本共轭方向算法都能在$n$次迭代之内收敛到唯一全局极小点$\boldsymbol{x^{*}}$，即$\boldsymbol{x^{(n)}}=\boldsymbol{x^{*}}$.

证明：由于方向$\boldsymbol{d^{(i)}}, i=0, 1, \dots, n-1$线性无关，因此，$\boldsymbol{x^{*}}-\boldsymbol{x^{(0)}} \in \mathbb{R}^n$可以由它们线性表出，即：

$$\boldsymbol{x^{*}}-\boldsymbol{x^{(0)}}=\beta_0\boldsymbol{d^{(0)}}+\beta_1\boldsymbol{x^{(1)}}+\dots+\beta_{n-1}\boldsymbol{d^{(n-1)}}$$
其中， $\beta_i, i = 0, 1, \dots, n-1$为常数。
上式同时左乘 $\boldsymbol{d}^{(k)T}\boldsymbol{Q}$,
$$\boldsymbol{d}^{(k)T}\boldsymbol{Q}(\boldsymbol{x^{*}}-\boldsymbol{x^{(0)}})=\beta_k \boldsymbol{d}^{(k)T}\boldsymbol{Q}\boldsymbol{d}^{(k)}$$
整理下，可得：
$$\beta_k=-\frac{\boldsymbol{d}^{(k)T}\boldsymbol{Q}(\boldsymbol{x^{*}}-\boldsymbol{x^{(0)}})}{\boldsymbol{d}^{(k)T}\boldsymbol{Qd}^{(k)}}$$
迭代点 $\boldsymbol{x^{(k)}}$可以写为：
$$\boldsymbol{x^{(k)}}=\boldsymbol{x^{(0)}}+a_0\boldsymbol{d^{(0)}}+a_1\boldsymbol{x^{(1)}}+\dots+a_{k-1}\boldsymbol{d^{(k-1)}}$$
则：
$$\boldsymbol{x^{(k)}}-\boldsymbol{x^{(0)}}=a_0\boldsymbol{d^{(0)}}+a_1\boldsymbol{x^{(1)}}+\dots+a_{k-1}\boldsymbol{d^{(k-1)}}$$
上式同时左乘 $\boldsymbol{d}^{(k)T}\boldsymbol{Q}$,因为 $\boldsymbol{g^{(k)}} = \boldsymbol{Qx^{(k)}-b}, \boldsymbol{Qx^{*}=b}$,可得：
$$\boldsymbol{d}^{(k)T}\boldsymbol{Q}(\boldsymbol{x^{*}}-\boldsymbol{x^{(0)}})=\boldsymbol{d}^{(k)T}\boldsymbol{Q}(\boldsymbol{x^{*}}-\boldsymbol{x^{(k)}})=-\boldsymbol{g}^{(k)T}\boldsymbol{d}^{(k)}$$
所以：
$$\beta_k=-\frac{\boldsymbol{g}^{(k)T}\boldsymbol{d}^{(k)}}{\boldsymbol{d}^{(k)T}\boldsymbol{Qd}^{(k)}}=a_k$$
这说明 $\boldsymbol{x^{(n)}}=\boldsymbol{x^{*}}$.
证毕。