下降法的思想

假设目标函数为：
F(x) = f(x)'f(x).
最速下降法：
对目标函数F(x)，在迭代点处，采用一阶泰勒展开近似，然后把满足近似模型极小值的点，作为新的迭代点。重复此过程，直至满足终止条件！

牛顿法：
用迭代点处的二阶泰勒展开，对**目标函数F(x)**进行二次函数近似，然后把二次模型的极小点，作为新的迭代点。重复此过程，直至满足终止条件。

小结：
这两种方法的基本思想，都是对目标函数F(x)，在迭代点处，采用泰勒展开近似，然后把满足近似模型的极小值点，作为新的迭代点，重复此过程，直到终止。
需要注意的是，在使用泰勒公式时，我们要求的是\delta x；

这两种方法的优点在于，可以把非线性问题，变为迭代求解线性方程问题，避免了对非线性方程直接求导。
缺点：
最速下降法容易在靠近极小值的时候收敛速度变慢；
牛顿法需要求解海瑟矩阵，求解困难

高斯牛顿法：
与上述两种方法不同，高斯牛顿法是对f(x)采用一阶泰勒展开近似，然后把近似后的模型带入到目标函数中，得到近似后的目标函数，然后按照上述思想，以近似后的目标函数的最小值作为新的迭代点。

高斯牛顿法可以避免求海瑟矩阵，同时具有二阶收敛速度。

剩下的待补充！