[CO] 无约束极值问题的解法

华电北风吹
最后修改日期 2015/11/7

无约束极值问题可以表述为
$min f(X), X \in R^n$
对于这类问题的求解一般要用到迭代法。迭代法可分为两大类。一类是要用到函数一阶导数或二阶导数的解析法；另一类是迭代过程中只用到函数值的直接法。常见的解析法有梯度下降法，共轭梯度法，变尺度法。常见的直接法有步长加速法。

一、梯度下降法
假设$X^{k}$表示极小值点的第k次迭代。求解第k+1次迭代过程为
$X^{k+1}=X^{k}+\lambda P^k$
$P^k$表示函数$f(X)$在点$X^k$处的负梯度。$\lambda$是步长。
其中，步长可以设定为一个常数值。当然，也可以通过一维搜索求解使得函数$f(X)$在点$X^k$沿方向$P^k$下降最多的步长(最速下降法)。

二、共轭梯度法

三、变尺度法

四、步长加速法