牛顿法与拟牛顿法

牛顿法的特点：

若目标函数是二次函数时，由于二次泰勒展开函数与原目标函数完全相同，所以可以一步到位。所以牛顿法是一种具有二次收敛性的算法。所以适用于二次性态较强或迭代点已进入极小值点的邻域，其收敛速度也是很快的。这是牛顿法的主要优点。

缺点是原始牛顿法由于迭代公式没有步长因子，而是定长迭代，所以对于非二次型目标函数，会出现函数值上升的现象，这表明原始牛顿法不能保证函数值稳定的下降，在严重的情况下会因为x_{k}的发散而导致计算失败。