最优化学习笔记（十二）——基本共轭方向算法（续）

    目标函数为$n$维二次型函数时，共轭方向法能够在$n$步迭代之后得到极小点。接下来会发现，共轭方向法的中间迭代步骤具有一种很有意义的性质。选定$\boldsymbol{x}^{(0)}$作为迭代初始点， $\boldsymbol{d}^{(0)}$为初始搜索方向， 有：

$$\boldsymbol{x}^{(1)} = \boldsymbol{x}^{(0)} - \biggl( \frac{\boldsymbol{g}^{(0)T}\boldsymbol{d}^{(0)}}{\boldsymbol{d}^{(0)T}Q\boldsymbol{d}^{(0)}}\biggr)\boldsymbol{d}^{(0)}$$
可以证明：
$$\boldsymbol{g}^{(1)T}\boldsymbol{d}^{(0)}=0$$
推导过程：
$$\boldsymbol{g}^{(1)T}\boldsymbol{d}^{(0)} = (Q\boldsymbol{x}^{(1)}-\boldsymbol{b})^T\boldsymbol{d}^{(0)} \\=\boldsymbol{x}^{(0)T}Q\boldsymbol{d}^{(0)} - \biggl( \frac{\boldsymbol{g}^{(0)T}\boldsymbol{d}^{(0)}}{\boldsymbol{d}^{(0)T}Q\boldsymbol{d}^{(0)}}\biggr)\boldsymbol{d}^{(0)T}Q\boldsymbol{d}^{(0)}-\boldsymbol{b}^{T}\boldsymbol{d}^{(0)}\\ =\boldsymbol{g}^{(0)T}\boldsymbol{d}^{(0)}-\boldsymbol{g}^{(0)T}\boldsymbol{d}^{(0)}=0$$
    方程$\boldsymbol{g}^{(1)T}\boldsymbol{d}^{(0)}=0$表示步长为$\alpha_0=\arg min \phi_0(\alpha)$,其中， $\phi_0(\alpha)=f(\boldsymbol{x}^{(0)}+\alpha\boldsymbol{d}^{(0)})$.推导过程如下：
由链式法则可得：
$$\frac{d\phi_0}{d\alpha}(\alpha)=\nabla f(\boldsymbol{x}^{(0)}+\alpha\boldsymbol{d}^{(0)})^T\boldsymbol{d}^{(0)}$$
将$\alpha = \alpha_0$带入得：
$$\frac{d\phi_0}{d\alpha}(\alpha_0) = \boldsymbol{g}^{(1)T}\boldsymbol{d}^{(0)} = 0$$
由于$\phi_0$是关于$\alpha$的平方函数，其中$\alpha^2$的系数为$\boldsymbol{d}^{(0)T}Q\boldsymbol{d}^{(0)} >0$， 说明$\phi_0$存在唯一的极小点，因此， $\alpha_0=\arg min \phi_0(\alpha)$。
    以此类推，可以证明，对于所有$k$，都有：
$$\boldsymbol{g}^{(k+1)T}\boldsymbol{d}^{(k)} = 0$$
即
$$\alpha_0=\arg min f(\boldsymbol{x}^{(k)}+\alpha\boldsymbol{d}^{(k)})$$
实际上，还有更一般的结论，如下引理所示：
* 引理 *在共轭方向算法中， 对于所有的$k, 0 \le k \le n-1, 0 \le i \le k$ 都有 :
$$\boldsymbol{g}^{(k+1)T}\boldsymbol{d}^{(i)} = 0$$